Prever o que muda a seguir.
Passo 1 de 4: Uma operação
Superou três modelos de fronteira a prever mudanças no sistema.
O World of Workflows é um benchmark empresarial público construído sobre o ServiceNow: depois de cada operação, prever como mudam os registos do sistema. O Duplex aprendeu os fluxos de trabalho pelo caminho, sem chamadas ao modelo, e foi pontuado pelo próprio código do benchmark.
World of Workflows, de Skyfall Research, sobre o ServiceNow.
- 0.256Pontuação na previsão de mudanças no sistemaGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204
- $0Gasto em modelos570 previsões com zero chamadas; 84 num modelo de fronteira custaram $13.40
- ~80%Decisões respondidas a partir do que aprendeuA sua IA tratou do resto
À frente do GPT-5.1, do Gemini 3 Pro e do Claude Sonnet 4.5.
Previsão de estado em três execuções, comparada caso a caso; a vantagem é significativa contra os três.
Passo 1 de 2: A pontuação
A prever como mudam os registos, o Duplex obteve 0.256, à frente do Gemini 3 Pro com 0.205, do Claude Sonnet 4.5 com 0.204 e do GPT-5.1 com 0.166.
O Duplex primeiro, o seu modelo atrás.
O Duplex responde ao que pode e passa o resto ao GPT-5.6.
Passo 1 de 2: Tudo para o modelo
Enviar as 806 decisões ao GPT-5.6 custaria cerca de $129, em cada execução.
Como foi feito.
- Benchmark
- World of Workflows, da Skyfall Research, construído sobre o ServiceNow: público, sob a licença MIT.
- O trabalho
- Prever como mudam os registos depois de uma operação, e descobrir que operação causou uma mudança.
- Pontuação
- O próprio código de pontuação do benchmark, sem alterações, verificado face aos números publicados pelos autores.
- Como o Duplex funcionou
- Cada passo previsto antes de a resposta ser mostrada, aprendendo apenas com passos já pontuados, sem chamadas ao modelo.
- Comparado com
- Os ficheiros de previsões que os autores do benchmark publicaram para o GPT-5.1, o Gemini 3 Pro e o Claude Sonnet 4.5.
- Escala
- Três execuções de 570 previsões, com testes de significância emparelhados nos mesmos casos.
O que significa para o seu trabalho.
Aprende como os seus sistemas se comportam.
O Duplex previu as mudanças nos registos do ServiceNow melhor do que três modelos de fronteira.
Sem custo de modelo.
570 previsões por execução, sem chamadas ao modelo.
O seu modelo onde ajuda.
A responder primeiro, com o GPT-5.6 atrás, o Duplex ficou com cerca de 80% das decisões e reduziu a fatura de cerca de $129 para $29.
Veja-o no seu próprio trabalho.
Do seu próprio assistente a cada agente que a sua empresa opera, um piloto põe o Duplex no seu próprio trabalho, com as métricas acordadas antes de começar.