Predecir lo que cambia después.
Paso 1 de 4: Una operación
Superó a tres modelos de frontera prediciendo cambios en el sistema.
World of Workflows es un benchmark empresarial público construido sobre ServiceNow: después de cada operación, hay que predecir cómo cambian los registros del sistema. Duplex aprendió los flujos de trabajo sobre la marcha, sin llamadas al modelo, y lo puntuó el propio código del benchmark.
World of Workflows, de Skyfall Research, sobre ServiceNow.
- 0.256Puntuación de predicción de cambios en el sistemaGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204
- $0Gasto en modelos570 predicciones sin llamadas; 84 con un modelo de frontera costaron $13.40
- ~80%Decisiones respondidas a partir de lo que aprendióTu IA se encargó del resto
Por delante de GPT-5.1, Gemini 3 Pro y Claude Sonnet 4.5.
Predicción de estado en tres ejecuciones, comparada caso por caso; la ventaja es significativa frente a los tres.
Paso 1 de 2: Puntuación
Al predecir cómo cambian los registros, Duplex obtuvo 0.256, por delante de Gemini 3 Pro con 0.205, Claude Sonnet 4.5 con 0.204 y GPT-5.1 con 0.166.
Duplex primero, tu modelo detrás.
Duplex responde lo que puede y pasa el resto a GPT-5.6.
Paso 1 de 2: Todo al modelo
Enviar las 806 decisiones a GPT-5.6 costaría unos $129, en cada ejecución.
Cómo se realizó.
- Benchmark
- World of Workflows, de Skyfall Research, construido sobre ServiceNow: público, con licencia MIT.
- El trabajo
- Predecir cómo cambian los registros después de una operación, y averiguar qué operación causó un cambio.
- Puntuación
- El código de puntuación del propio benchmark, sin modificar, contrastado con las cifras publicadas por los autores.
- Cómo se ejecutó Duplex
- Cada paso predicho antes de mostrar la respuesta, aprendiendo solo de pasos ya puntuados, sin llamadas al modelo.
- Comparado con
- Los archivos de predicciones que publicaron los autores del benchmark para GPT-5.1, Gemini 3 Pro y Claude Sonnet 4.5.
- Escala
- Tres ejecuciones de 570 predicciones, con pruebas de significación pareadas sobre los mismos casos.
Qué significa para tu trabajo.
Aprende cómo se comportan tus sistemas.
Duplex predijo los cambios en los registros de ServiceNow mejor que tres modelos de frontera.
Sin coste de modelo.
570 predicciones por ejecución, sin llamadas al modelo.
Tu modelo, donde ayuda.
Respondiendo primero, con GPT-5.6 detrás, Duplex asumió cerca del 80% de las decisiones y redujo la factura de unos $129 a $29.
Compruébalo con tu propio trabajo.
De tu propio asistente a cada agente que ejecuta tu empresa, un piloto pone Duplex en tu propio trabajo, con las métricas acordadas antes de empezar.