Quand une entreprise vous montre un graphique où elle arrive en tête, la première chose à demander, c’est qui a écrit le test. Un test que vous concevez vous-même tend à mesurer ce en quoi vous êtes bon, si consciencieux que vous soyez. Vous choisissez les tâches, les données et la notation, et de l’extérieur, personne ne peut dire quelle part du résultat revient au produit et quelle part au test.
Les résultats qui valent le plus sont ceux obtenus sur le terrain d’un autre : un test construit par des gens qui n’ont aucun intérêt dans votre produit, passé sur les mêmes tâches que tout le monde et noté par ceux qui l’ont écrit. Vous ne choisissez pas les questions, et vous ne pouvez pas changer les règles en cours de partie. C’est la différence entre gagner à domicile et gagner à l’extérieur.
World of Workflows est ce genre de terrain. Ses auteurs l’ont construit sur ServiceNow et l’ont noté avec leur propre évaluateur. Duplex s’y est mesuré à trois modèles de pointe et l’a emporté pour prédire comment le système change, sans un seul appel au modèle.
World of Workflows : un benchmark public sur ServiceNow, évalué par ses propres auteurs.
Le test d’un autre, la notation d’un autre.
Le benchmark place l’IA dans le genre de système où se fait le travail des entreprises : incidents, demandes et approbations, chacun avec ses propres règles sur ce qui suit. Un agent qui travaille dans ServiceNow doit comprendre ce qu’une opération va faire autant que ce que demande la requête. L’une des choses que teste le benchmark, c’est la capacité à prédire comment le système change après une opération.
Chaque tâche venait des auteurs du benchmark, qui travaillaient indépendamment de Vareon. Duplex et trois modèles de pointe ont répondu aux mêmes, sur trois volets hors ligne, à raison de trois exécutions chacun, et l’évaluateur des auteurs a noté chaque exécution. L’entreprise testée n’a choisi ni les questions ni la notation.
C’est ce qui rend le résultat facile à croire et facile à reproduire. N’importe qui peut prendre le même benchmark, le lancer de la même façon et le noter avec le même évaluateur, et obtenir un chiffre qui veut dire la même chose pour tous ceux qui ont passé le test.
Et la concurrence était rude. GPT-5.1, Gemini 3 Pro et Claude Sonnet 4.5 sont des modèles de pointe, chacun parmi les modèles généralistes les plus performants de son époque, qui apportent un vaste savoir et un raisonnement rigoureux à toute tâche qu’on leur confie. Sur un terrain qu’aucun d’eux n’avait choisi, la question était la même pour les quatre : que va changer cette opération ?
Les auteurs du benchmark ont construit les tâches sur ServiceNow, indépendamment de Vareon.
Le meilleur pour prédire ce qui change.
Prédire ce changement est plus difficile qu’il n’y paraît. Selon la façon dont une équipe a configuré le système, résoudre un incident peut clore des tâches liées ou notifier tout un groupe. Ces effets résident dans les règles propres au système plutôt que dans les mots de la requête, si bien qu’un modèle qui lit la requête doit les déduire par le raisonnement, à partir de sa connaissance générale des systèmes de ce genre.
C’est Duplex qui l’a le mieux prédit. Il a obtenu 0.256, contre 0.205 pour Gemini 3 Pro, 0.204 pour Claude Sonnet 4.5 et 0.166 pour GPT-5.1, et l’avance est statistiquement significative face aux trois, sur les mêmes tâches.
Il l’a fait sans aucun appel au modèle. Duplex a fait 570 prédictions pour un coût de modèle nul, alors que 84 prédictions sur un modèle de pointe ont coûté $13.40. Cet écart est faible sur un benchmark et considérable en production, où un agent pose la même question avant chaque opération, toute la journée.
La différence tient à ce que chacun apporte. Un modèle de pointe est l’intelligence générale, apprise lentement, comme le néocortex : il connaît le monde. Duplex est l’intelligence d’exécution, rapide, comme l’hippocampe : il apprend comment ce système se comporte à partir de ce qui s’y passe, si bien que le prochain changement est pour lui une chose qu’il sait plutôt qu’une chose à déduire.
Vos agents peuvent regarder avant d’agir.
Un agent qui travaille dans vos systèmes change des choses réelles. Il clôt des incidents, réaffecte des demandes et informe les gens de ce qui s’est passé. Les erreurs coûteuses sont celles qu’il n’a pas vues venir : un incident résolu sans la note de clôture nécessaire, ou un demandeur prévenu avant que quoi que ce soit ne soit réparé. Le temps que quelqu’un s’en aperçoive, le changement a déjà eu lieu.
Duplex apprend comment se comportent vos propres systèmes : ce que change chaque action et ce qui vient ensuite. Avant que votre agent lance une opération, Duplex peut donc lui dire ce qui va changer, le statut, la note et qui est prévenu, et l’agent le vérifie d’abord, comme un collègue attentif regarde avant d’appuyer sur le bouton. Si la prédiction montre que le demandeur sera prévenu avant que le correctif soit confirmé, l’agent peut s’arrêter et demander.
La prédiction n’est pas tout le travail, et le benchmark montre où passe la limite. Sur la reconstitution exacte de l’action, qui consiste à nommer l’opération précise avec chaque détail juste, Duplex a fait jeu égal avec GPT-5.1 et Gemini 3 Pro. C’est un travail où le raisonnement d’un modèle mérite sa place, si bien que Duplex répond à ce qu’il a appris et que votre IA prend le reste. Chaque résultat que votre équipe confirme fait passer un peu plus de ce travail à Duplex.
Un résultat obtenu sur le terrain d’un autre est un résultat sur lequel on peut bâtir ses plans. Sur un test qu’il n’a pas écrit, noté par les propres auteurs du test, Duplex a mieux vu que trois modèles de pointe ce que chaque opération allait changer, sans rien dépenser en coûts de modèle. Avec Duplex qui apprend de vos propres systèmes, vos agents obtiennent la même chose : chaque opération vérifiée au regard de ce qu’elle va changer, avant de s’exécuter.
Votre agent s’apprête à lancer une opération : résoudre un incident dans votre système.