Las tareas de agentes siguen saliendo bien, con menos llamadas al modelo.
Τ-bench pone a un agente de IA en el servicio de atención al cliente de una tienda, con las herramientas de la propia tienda, su política escrita y clientes que cambian de opinión. Duplex trabajó junto al modelo del agente en cada turno de cada conversación.
Τ-bench, de Sierra Research. El benchmark →
- 83.3%Éxito en tareasEl modelo en cada turno: 82.5%
- 12.8%Turnos completados sin el modelo≈15% menos llamadas al modelo
- 100%Éxito en tareas nuevas
Una conversación, turno a turno.
Paso 1 de 6: Un cliente
Tan eficaz como llamar al modelo en cada turno.
Éxito en las tareas a lo largo de 120 conversaciones, y en las tareas que el agente no había visto nunca.
Paso 1 de 2: Cada tarea
Duplex completó el 83.3% de las tareas. El modelo en cada turno, el 82.5%.
Solo se ahorra una llamada en los turnos que ha aprendido.
De cada 100 turnos, quién completó cada uno, y si la tarea siguió saliendo bien.
Paso 1 de 3: Cada turno
Con el modelo en cada turno, cada turno es una llamada, y el 82.5% de las tareas sale bien.
Menos llamadas y tareas terminadas, a la vez.
Turnos completados sin el modelo frente al éxito en las tareas, para cada enfoque de la prueba.
Paso 1 de 3: Cada llamada
Cuatro enfoques llaman al modelo en cada turno; su éxito va del 83.3% al 0.8%.
Cómo se realizó.
- Benchmark
- Τ-bench (tau2-bench 1.0), dominio retail, de Sierra Research: público y de código abierto.
- El trabajo
- Conversaciones de varios turnos con clientes simulados de una tienda, usando las herramientas propias de la tienda según su política escrita.
- Escala
- Tres ejecuciones de cuarenta conversaciones para cada enfoque.
- Modelos
- GPT-5.5 como agente para todos los enfoques; GPT-4.1-mini hizo de cliente.
- Comparado con
- El modelo en cada turno, una capa de memoria, recuperación, una caché semántica y contexto de grafo de conocimiento.
- Condiciones iguales
- Las mismas herramientas, la misma política, el mismo cliente y el mismo modelo de agente para todos los enfoques; Duplex funcionó como servicio en producción.
Qué significa para tu trabajo.
Tus agentes siguen terminando el trabajo.
El éxito en las tareas igualó al del modelo en cada turno, mientras Duplex completaba los turnos que había aprendido.
El trabajo nuevo se sigue haciendo.
Duplex terminó todas las tareas nuevas de la prueba: lo que no ha aprendido va a tu modelo.
Ahorros que dejan las conversaciones intactas.
Duplex solo se ahorra una llamada en un turno que ha aprendido. Una caché repitió respuestas guardadas en mitad de la conversación y completó el 8.3% de las tareas.
Compruébalo con tu propio trabajo.
De tu propio asistente a cada agente que ejecuta tu empresa, un piloto pone Duplex en tu propio trabajo, con las métricas acordadas antes de empezar.