O que o Duplex entrega, em números.
Cada número ao lado do que superou: o modelo sozinho, uma cache, a recuperação ou a afinação.
- −90.3%Chamadas ao modelo, com mais precisão94.6% de precisão, contra 59.8% do modelo sozinho
- 0%Respostas desatualizadas depois de uma mudança de regraCache e recuperação: 72%
- 6 / 6Testes em que o Duplex superou a afinação+30.3 pontos em média, sem execução de treino
- 3 / 3Modelos de fronteira superados a prever mudanças no sistemaNum benchmark empresarial público, sem chamadas ao modelo
Um fluxo de 3,000 decisões, de três formas.
Passo 1 de 3: Precisão
Todos os resultados.
90% menos chamadas ao modelo, e mais preciso.
94.6%Precisão, a mais alta do testeO modelo sozinho 59.8% · com uma cache 77.3%- −90.3% Chamadas à IA · −84.8% de custo · −81.9% de latência
- ~23× Mais rápido se aprendido · ≈97 ms contra ≈2,231 ms
Um fluxo de 3,000 decisões em que as regras mudaram cinco vezes, contra o modelo de fronteira sozinho e com uma cache semântica; uma execução de 300 decisões acrescentou uma cache com recuperação e um grafo de conhecimento. Todas as abordagens usaram o mesmo modelo.
Mais preciso em todas as configurações, a um sétimo do custo.
94.1 a 94.8%Precisão do Duplex, em cada uma das oito configuraçõesO melhor que uma cache alcançou: 77.3%- 84 a 91% Em três execuções novas de 1,000 decisões · O melhor que uma cache alcançou: cerca de 73%
Um fluxo de 3,000 decisões com cada abordagem testada em toda a sua gama de configurações, e depois três execuções novas de 1,000 decisões num segundo ambiente de teste, independente.
Continua a aprender sem esquecer, sem ficar desatualizado e sem crescer.
5 / 5Requisitos para aprender em produção, todos cumpridos em todas as execuçõesCache e recuperação: média de 2.2 / 5 · afinação online: 4 / 5- 0% Respostas desatualizadas depois de uma mudança de política · Cache e recuperação 72%
- Constante Pegada ao longo do tempo · A cache e a recuperação cresceram até ≈1,300 linhas
Dez execuções, com a mesma supervisão e as mesmas entradas para todas as abordagens.
Lida com novas formulações, e deteta os casos parecidos.
7.5%Respostas erradas em pedidos parecidosUma cache 45.3%, cerca de 6× mais- 98.98% Dos pedidos tratados corretamente: bem respondidos, ou passados à sua IA · O Duplex respondeu ele próprio a 95.78% dos pedidos conhecidos
- 0.996 Pontuação a distinguir o familiar do novo, em 1 · Uma cache 0.930
Dez intenções aprendidas e seis níveis de novidade, de repetições exatas a pedidos de outro domínio, em dez execuções.
Planeia o caminho mais curto, com zero tokens de modelo.
100%Sucesso dos planos, em todas as execuçõesUm agente reativo: 0% · o Duplex não usou tokens de modelo- 0% Um agente reativo guloso
- ~204 Tokens por decisão que um modelo de fronteira gasta para o igualar
Um mundo de vários passos em dez execuções, contra um agente reativo e um modelo de fronteira com a mesma tarefa.
Mantém o sucesso das tarefas dos agentes, com menos chamadas ao modelo.
83.3%Taxa de sucessoO modelo em todos os turnos: 82.5%- 12.8% Turnos concluídos sem o modelo · ≈15% menos chamadas ao modelo
- 100% Sucesso em tarefas novas
Τ-bench (tau2-bench), retalho, de Sierra Research. O ambiente de retalho sem alterações, com o mesmo modelo, as mesmas ferramentas e o mesmo simulador de utilizador para todas as abordagens, em três execuções de quarenta episódios.
Um custo de leitura estável, por mais longo que seja o histórico.
96%Respostas atuais onde um facto tinha mudadoO facto novo, não o antigo- 3.7× Menos leitura por pergunta do que ler o histórico inteiro · Com quarenta sessões de histórico
- 84% Precisão com quarenta sessões de histórico
LongMemEval, de Wu et al., ICLR 2025. Cinquenta perguntas, cada uma feita com o histórico em 2, 5, 10, 20 e 40 sessões.
Bloqueia todos os ataques, e deixa passar o trabalho normal.
0%Sucesso dos ataquesEm seis famílias de ataques parafraseados- 0.7% Falsas recusas · O mais baixo das abordagens que bloquearam todos os ataques
- 40 / 40 Amostras envenenadas removidas · Precisão a menos de 1 ponto
Seis famílias de ataques, parafraseados, com pedidos inofensivos escritos para se parecerem com os ataques.
Aprende uma nova competência sozinho, com o modelo desligado.
100%Tarefas concluídas com o modelo desligado, em todas as execuçõesUm modelo de fronteira precisou de ≈507 chamadas por execução- 0.26 ms Para reutilizar uma competência · Com 0 chamadas ao modelo
- 627 Ações inseguras recusadas por execução · E a competência segura foi aprendida na mesma
Quatro conjuntos de testes em dez execuções, cada um pontuado pela sua pior execução.
Superou três modelos de fronteira a prever mudanças no sistema.
0.256Pontuação na previsão de mudanças no sistemaGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204- $0 Gasto em modelos · 570 previsões com zero chamadas; 84 num modelo de fronteira custaram $13.40
- ~80% Decisões respondidas a partir do que aprendeu · A sua IA tratou do resto
World of Workflows, de Skyfall Research / ServiceNow. Três vertentes offline, pontuadas pelo próprio avaliador dos autores do benchmark, em três execuções.
Supera a afinação, sem nenhuma execução de treino.
6 / 6Testes em que o Duplex superou um adaptador afinado+30.3 pontos em média- 0 Retreino para passar para outra família de modelos · Os adaptadores passaram em 0 de 6
- 60 a 79% Respondido com base no que aprendeu · Em qualquer das famílias de modelos
Três conjuntos de dados públicos de intenções, duas famílias de modelos abertos e três execuções, com o mesmo modelo congelado e os mesmos dados para todas as abordagens.
Veja-o no seu próprio trabalho.
Do seu próprio assistente a cada agente que a sua empresa opera, um piloto põe o Duplex no seu próprio trabalho, com as métricas acordadas antes de começar.