Quando uma empresa lhe mostra um gráfico em que ela própria aparece no topo, a primeira coisa a perguntar é quem escreveu o teste. Um teste desenhado por si tende a medir aquilo em que é bom, por mais cuidado que tenha. Escolhe as tarefas, os dados e a pontuação, e de fora ninguém consegue saber quanto do resultado se deve ao produto e quanto se deve ao teste.
Os resultados que mais valem são os obtidos em terreno alheio: um teste construído por pessoas sem qualquer interesse no seu produto, respondido nas mesmas tarefas que todos os outros e pontuado por quem o escreveu. Não escolhe as perguntas, e não pode mudar as regras a meio do jogo. É a diferença entre ganhar em casa e ganhar fora.
O World of Workflows é esse tipo de terreno. Os seus autores construíram-no sobre o ServiceNow e pontuaram-no com o seu próprio avaliador. O Duplex entrou em campo contra três modelos de fronteira e saiu à frente a prever como o sistema muda, sem uma única chamada ao modelo.
World of Workflows: um benchmark público no ServiceNow, avaliado pelos próprios autores.
O teste de outros, a pontuação de outros.
O benchmark põe a IA dentro do tipo de sistema onde acontece o trabalho das empresas: incidentes, pedidos e aprovações, cada um com as suas próprias regras sobre o que vem a seguir. Um agente a trabalhar no ServiceNow tem de perceber o que uma operação vai fazer, além do que o pedido pede. Uma das coisas que o benchmark testa é se consegue prever como o sistema muda depois de uma operação.
Todas as tarefas vieram dos autores do benchmark, que trabalharam de forma independente da Vareon. O Duplex e três modelos de fronteira responderam às mesmas, em três vertentes offline, com três execuções cada uma, e o próprio avaliador dos autores pontuou cada execução. A empresa testada não escolheu nem as perguntas nem a correção.
É isso que faz com que seja fácil confiar no resultado e fácil repeti-lo. Qualquer pessoa pode pegar no mesmo benchmark, corrê-lo da mesma maneira e pontuá-lo com o mesmo avaliador, e obter um número que significa o mesmo para todos os que fizeram o teste.
E a concorrência era forte. O GPT-5.1, o Gemini 3 Pro e o Claude Sonnet 4.5 são modelos de fronteira, cada um entre os modelos gerais mais capazes do seu tempo, que trazem conhecimento vasto e raciocínio cuidadoso a qualquer tarefa que lhes deem. Num terreno que nenhum deles escolheu, a pergunta foi a mesma para os quatro: o que é que esta operação vai mudar?
Os autores do benchmark construíram as tarefas no ServiceNow, independentemente da Vareon.
O melhor a prever o que muda.
Prever essa mudança é mais difícil do que parece. Consoante a forma como uma equipa configurou o sistema, resolver um incidente pode fechar tarefas relacionadas ou notificar um grupo inteiro. Esses efeitos vivem nas próprias regras do sistema e não nas palavras do pedido, por isso um modelo que lê o pedido tem de lá chegar pelo raciocínio, a partir do conhecimento geral de sistemas semelhantes.
O Duplex foi quem melhor a previu. Obteve 0.256, contra 0.205 do Gemini 3 Pro, 0.204 do Claude Sonnet 4.5 e 0.166 do GPT-5.1, e a vantagem é estatisticamente significativa contra os três, nas mesmas tarefas.
Fê-lo sem chamadas ao modelo. O Duplex fez 570 previsões sem qualquer custo de modelo, enquanto 84 previsões num modelo de fronteira custaram $13.40. Essa diferença é pequena num benchmark e grande em produção, onde um agente faz a mesma pergunta antes de cada operação, o dia todo.
A diferença está no que cada um traz. Um modelo de fronteira é inteligência geral, aprendida devagar, como o neocórtex: conhece o mundo. O Duplex é inteligência em execução, rápida, como o hipocampo: aprende como este sistema se comporta a partir do que acontece nele, por isso prever a próxima mudança é algo que sabe, e não algo que tem de deduzir.
Os seus agentes podem olhar antes de agir.
Um agente que trabalha nos seus sistemas muda coisas reais. Fecha incidentes, reatribui pedidos e diz às pessoas o que aconteceu. Os erros caros são os que não viu chegar: um incidente resolvido sem a nota de fecho de que precisa, ou quem reportou o problema avisado antes de alguma coisa estar corrigida. Quando alguém repara, a mudança já aconteceu.
O Duplex aprende como os seus próprios sistemas se comportam: o que cada ação muda e o que vem a seguir. Por isso, antes de o seu agente executar uma operação, o Duplex pode dizer-lhe o que vai mudar, o estado, a nota e quem é avisado, e o agente verifica isso primeiro, como um colega cuidadoso olha antes de carregar no botão. Se a previsão mostrar quem reportou o problema a ser avisado antes de a correção estar confirmada, o agente pode parar e perguntar.
Prever não é o trabalho todo, e o benchmark mostra onde fica a linha. Na recuperação exata da ação, que significa nomear a operação precisa com todos os pormenores certos, o Duplex empatou com o GPT-5.1 e o Gemini 3 Pro. É um trabalho em que o raciocínio de um modelo merece o seu lugar, por isso o Duplex responde ao que aprendeu e a sua IA fica com o resto. Cada resultado que a sua equipa confirma passa um pouco mais desse trabalho para o Duplex.
Um resultado em terreno alheio é um resultado com que pode contar. Num teste que não escreveu, pontuado pelos próprios autores do teste, o Duplex viu o que cada operação ia mudar melhor do que três modelos de fronteira, sem gastar nada em modelos. Com o Duplex a aprender com os seus próprios sistemas, os seus agentes ficam com o mesmo: cada operação verificada contra o que vai mudar, antes de correr.
O seu agente está prestes a executar uma operação: resolver um incidente no seu sistema.