Cuando una empresa te enseña un gráfico en el que sale primera, lo primero que hay que preguntar es quién escribió la prueba. Una prueba que diseñas tú tiende a medir aquello en lo que eres bueno, por mucho cuidado que pongas. Eliges las tareas, los datos y la puntuación, y desde fuera nadie puede saber cuánto del resultado es el producto y cuánto es la prueba.
Los resultados que más valen son los que se consiguen en campo contrario: una prueba creada por gente sin ningún interés en tu producto, con las mismas tareas para todos y puntuada por quienes la escribieron. No eliges las preguntas, y no puedes cambiar las reglas a mitad de partido. Es la diferencia entre ganar en casa y ganar fuera.
World of Workflows es ese tipo de campo. Sus autores lo construyeron sobre ServiceNow y lo puntuaron con su propio evaluador. Duplex se enfrentó a tres modelos de frontera y salió ganando al predecir cómo cambia el sistema, sin una sola llamada al modelo.
World of Workflows: un benchmark público sobre ServiceNow, puntuado por sus propios autores.
La prueba de otro, la puntuación de otro.
El benchmark sitúa a la IA dentro del tipo de sistema en el que se hace el trabajo empresarial: incidencias, solicitudes y aprobaciones, cada una con sus propias reglas sobre lo que viene después. Un agente que trabaja en ServiceNow tiene que entender qué hará una operación, además de lo que pide la solicitud. Una de las cosas que mide el benchmark es si puedes predecir cómo cambia el sistema tras una operación.
Todas las tareas las crearon los autores del benchmark, sin intervención de Vareon. Duplex y tres modelos de frontera respondieron las mismas, en tres modalidades offline, tres ejecuciones cada una, y el evaluador de los propios autores puntuó cada ejecución. La empresa evaluada no eligió ni las preguntas ni la corrección.
Eso es lo que hace que el resultado sea fácil de creer y fácil de repetir. Cualquiera puede tomar el mismo benchmark, ejecutarlo de la misma manera y puntuarlo con el mismo evaluador, y obtener una cifra que significa lo mismo para todos los que se presentaron a la prueba.
Y el nivel de los rivales era alto. GPT-5.1, Gemini 3 Pro y Claude Sonnet 4.5 son modelos de frontera, cada uno entre los modelos generales más capaces de su momento, que aportan un conocimiento amplio y un razonamiento cuidadoso a cualquier tarea que se les dé. En un campo que ninguno de ellos eligió, la pregunta fue la misma para los cuatro: ¿Qué cambiará esta operación?
Los autores del benchmark crearon las tareas sobre ServiceNow, con independencia de Vareon.
El mejor prediciendo qué cambia.
Predecir ese cambio es más difícil de lo que parece. Según cómo haya configurado el sistema un equipo, resolver una incidencia puede cerrar tareas relacionadas o avisar a todo un grupo. Esos efectos están en las propias reglas del sistema y no en las palabras de la solicitud, así que un modelo que lee la solicitud tiene que llegar a ellos razonando a partir de lo que sabe en general de sistemas parecidos.
Duplex fue el que mejor lo predijo. Obtuvo 0.256, frente a 0.205 de Gemini 3 Pro, 0.204 de Claude Sonnet 4.5 y 0.166 de GPT-5.1, y la ventaja es estadísticamente significativa frente a los tres, en las mismas tareas.
Lo hizo sin llamadas al modelo. Duplex hizo 570 predicciones con un coste de modelo nulo, mientras que 84 predicciones con un modelo de frontera costaron $13.40. Esa diferencia es pequeña en un benchmark y grande en producción, donde un agente hace la misma pregunta antes de cada operación, todo el día.
La diferencia está en lo que aporta cada uno. Un modelo de frontera es inteligencia general, aprendida despacio, como el neocórtex: conoce el mundo. Duplex es inteligencia en ejecución, rápida, como el hipocampo: aprende cómo se comporta este sistema a partir de lo que ocurre en él, así que predecir el siguiente cambio es algo que sabe y no algo que tenga que deducir.
Tus agentes pueden mirar antes de actuar.
Un agente que trabaja en tus sistemas cambia cosas reales. Cierra incidencias, reasigna solicitudes y cuenta a la gente lo que ha pasado. Los errores caros son los que no vio venir: una incidencia resuelta sin la nota de cierre que necesita, o un aviso a quien llamó antes de haber arreglado nada. Para cuando alguien se da cuenta, el cambio ya se ha producido.
Duplex aprende cómo se comportan tus propios sistemas: qué cambia cada acción y qué viene después. Así que, antes de que tu agente ejecute una operación, Duplex puede decirle qué va a cambiar, el estado, la nota y a quién se avisa, y el agente lo comprueba primero, como un compañero cuidadoso que mira antes de pulsar el botón. Si la predicción muestra que se avisará a quien llamó antes de confirmar el arreglo, el agente puede parar y preguntar.
Predecir no lo es todo, y el benchmark muestra dónde está el límite. En la recuperación exacta de acciones, que consiste en nombrar la operación precisa con cada detalle correcto, Duplex empató con GPT-5.1 y Gemini 3 Pro. Ese es un trabajo en el que el razonamiento de un modelo se gana su sitio, así que Duplex responde lo que ha aprendido y tu IA se encarga del resto. Cada resultado que confirma tu equipo pasa un poco más de ese trabajo a Duplex.
Un resultado conseguido en campo contrario es uno con el que puedes contar. En una prueba que no escribió, puntuada por sus propios autores, Duplex vio qué cambiaría cada operación mejor que tres modelos de frontera, sin gastar nada en modelos. Con Duplex aprendiendo de tus propios sistemas, tus agentes consiguen lo mismo: cada operación comprobada frente a lo que va a cambiar, antes de ejecutarse.
Tu agente va a ejecutar una operación: resolver una incidencia en tu sistema.