As tarefas dos agentes continuam a ter sucesso, com menos chamadas ao modelo.
O τ-bench põe um agente de IA no suporte ao cliente de uma loja, com as ferramentas da própria loja, a sua política escrita e clientes que mudam de ideias. O Duplex trabalhou ao lado do modelo do agente em cada turno de cada conversa.
Τ-bench, de Sierra Research. O benchmark →
- 83.3%Taxa de sucessoO modelo em todos os turnos: 82.5%
- 12.8%Turnos concluídos sem o modelo≈15% menos chamadas ao modelo
- 100%Sucesso em tarefas novas
Uma conversa, turno a turno.
Passo 1 de 6: Um cliente
Tão bem-sucedido como chamar o modelo em cada turno.
Sucesso nas tarefas em 120 conversas, e nas tarefas que o agente nunca tinha visto.
Passo 1 de 2: Cada tarefa
O Duplex concluiu 83.3% das tarefas. O modelo em cada turno concluiu 82.5%.
Só dispensa uma chamada nos turnos que aprendeu.
Em cada 100 turnos, quem completou cada um, e se a tarefa ainda assim teve sucesso.
Passo 1 de 3: Cada turno
Com o modelo em cada turno, cada turno é uma chamada, e 82.5% das tarefas têm sucesso.
Menos chamadas e tarefas concluídas, ao mesmo tempo.
Turnos concluídos sem o modelo, face ao sucesso nas tarefas, para cada abordagem do teste.
Passo 1 de 3: Cada chamada
Quatro abordagens chamam o modelo em cada turno; o seu sucesso vai de 83.3% a 0.8%.
Como foi feito.
- Benchmark
- Τ-bench (tau2-bench 1.0), retalho, da Sierra Research: público e de código aberto.
- O trabalho
- Conversas de vários turnos com clientes de retalho simulados, usando as ferramentas da própria loja segundo a sua política escrita.
- Escala
- Três execuções de quarenta conversas para cada abordagem.
- Modelos
- O GPT-5.5 como agente em todas as abordagens; o GPT-4.1-mini fez de cliente.
- Comparado com
- O modelo em todos os turnos, uma camada de memória, recuperação, uma cache semântica e contexto de grafo de conhecimento.
- Igual para todos
- As mesmas ferramentas, a mesma política, o mesmo cliente e o mesmo modelo de agente para todas as abordagens; o Duplex funcionou como serviço em produção.
O que significa para o seu trabalho.
Os seus agentes continuam a concluir o trabalho.
O sucesso nas tarefas igualou o do modelo em todos os turnos, enquanto o Duplex concluía os turnos que tinha aprendido.
O trabalho novo continua a ser feito.
O Duplex concluiu todas as tarefas novas do teste: o que não aprendeu vai para o seu modelo.
Poupanças que deixam as conversas intactas.
O Duplex só dispensa uma chamada num turno que aprendeu. Uma cache repetiu respostas guardadas a meio da conversa e concluiu 8.3% das tarefas.
Veja-o no seu próprio trabalho.
Do seu próprio assistente a cada agente que a sua empresa opera, um piloto põe o Duplex no seu próprio trabalho, com as métricas acordadas antes de começar.