Als een bedrijf je een grafiek laat zien met zichzelf bovenaan, is de eerste vraag wie de test schreef. Een test die je zelf ontwerpt, meet meestal waar je goed in bent, hoe zorgvuldig je ook bent. Je kiest de taken, de data en de beoordeling, en van buitenaf kan niemand zien hoeveel van het resultaat aan het product ligt en hoeveel aan de test.
De resultaten die het meest waard zijn, behaal je op andermans terrein: een test gebouwd door mensen zonder belang bij je product, beantwoord op dezelfde taken als ieder ander en beoordeeld door de mensen die hem schreven. Je kiest de vragen niet, en je kunt de doelpalen niet verzetten. Het is het verschil tussen thuis winnen en uit winnen.
World of Workflows is zulk terrein. De auteurs bouwden de benchmark op ServiceNow en beoordeelden hem met hun eigen evaluator. Duplex nam het op tegen drie frontiermodellen en kwam als beste uit de bus in het voorspellen hoe het systeem verandert, zonder één enkele modelaanroep.
World of Workflows: een openbare benchmark op ServiceNow, beoordeeld door de eigen auteurs.
De test van een ander, de beoordeling van een ander.
De benchmark zet AI midden in het soort systeem waar het werk van ondernemingen gebeurt: incidenten, verzoeken en goedkeuringen, elk met eigen regels over wat er volgt. Een agent die in ServiceNow werkt, moet zowel begrijpen wat een bewerking zal doen als wat het verzoek vraagt. Een van de dingen die de benchmark test, is of je kunt voorspellen hoe het systeem verandert na een bewerking.
Elke taak kwam van de auteurs van de benchmark, die onafhankelijk van Vareon werkten. Duplex en drie frontiermodellen beantwoordden dezelfde taken, op drie offline tracks, drie runs per stuk, en de eigen evaluator van de auteurs beoordeelde elke run. Het bedrijf dat getest werd, koos de vragen niet en de beoordeling evenmin.
Daardoor is het resultaat makkelijk te vertrouwen en makkelijk te herhalen. Iedereen kan dezelfde benchmark nemen, op dezelfde manier draaien en met dezelfde evaluator beoordelen, en krijgt een getal dat hetzelfde betekent voor iedereen die de test aflegde.
En het deelnemersveld was sterk. GPT-5.1, Gemini 3 Pro en Claude Sonnet 4.5 zijn frontiermodellen, elk een van de krachtigste algemene modellen van zijn tijd, die brede kennis en zorgvuldig redeneren meebrengen naar elke taak die ze krijgen. Op terrein dat geen van hen koos, was de vraag voor alle vier dezelfde: wat zal deze bewerking veranderen?
De auteurs van de benchmark bouwden de taken op ServiceNow, onafhankelijk van Vareon.
De beste in voorspellen wat er verandert.
Die verandering voorspellen is moeilijker dan het klinkt. Afhankelijk van hoe een team het systeem heeft ingericht, kan het oplossen van een incident gerelateerde taken sluiten of een hele groep op de hoogte brengen. Die effecten zitten in de eigen regels van het systeem, niet in de woorden van het verzoek, dus een model dat het verzoek leest, moet ze afleiden uit algemene kennis van vergelijkbare systemen.
Duplex voorspelde dat het best. Het scoorde 0.256, tegenover 0.205 voor Gemini 3 Pro, 0.204 voor Claude Sonnet 4.5 en 0.166 voor GPT-5.1, en de voorsprong is statistisch significant tegenover alle drie, op dezelfde taken.
Het deed dit zonder modelaanroepen. Duplex deed 570 voorspellingen zonder enige modelkosten, terwijl 84 voorspellingen op een frontiermodel $13.40 kostten. Dat verschil is klein op een benchmark en groot in productie, waar een agent de hele dag dezelfde vraag stelt voor elke bewerking.
Het verschil zit in wat elk meebrengt. Een frontiermodel is algemene intelligentie, langzaam geleerd, zoals de neocortex: het kent de wereld. Duplex is runtime-intelligentie, snel, zoals de hippocampus: het leert hoe dit systeem zich gedraagt uit wat erin gebeurt, dus de volgende verandering voorspellen is iets wat het weet, niet iets wat het moet uitzoeken.
Je agents kunnen kijken voordat ze handelen.
Een agent die in je systemen werkt, verandert echte dingen. Hij sluit incidenten, wijst verzoeken opnieuw toe en vertelt mensen wat er gebeurd is. De dure fouten zijn de fouten die hij niet zag aankomen: een incident opgelost zonder de afsluitende notitie die erbij hoort, of een melder die al is ingelicht voordat er iets was opgelost. Tegen de tijd dat iemand het merkt, is de verandering al gebeurd.
Duplex leert hoe je eigen systemen zich gedragen: wat elke actie verandert en wat er daarna komt. Dus voordat je agent een bewerking uitvoert, kan Duplex hem vertellen wat er zal veranderen, de status, de notitie en wie wordt ingelicht, en controleert de agent dat eerst, zoals een zorgvuldige collega kijkt voordat hij op de knop drukt. Als de voorspelling laat zien dat de melder wordt ingelicht voordat de oplossing bevestigd is, kan de agent stoppen en navragen.
Voorspellen is niet het hele werk, en de benchmark laat zien waar de grens ligt. Bij het exact achterhalen van de actie, wat betekent dat je de precieze bewerking noemt met elk detail goed, speelde Duplex gelijk met GPT-5.1 en Gemini 3 Pro. Dat is werk waar het redeneren van een model zijn plek verdient, dus Duplex beantwoordt wat het heeft geleerd en je AI neemt de rest. Elk resultaat dat je team bevestigt, verschuift weer iets meer van dat werk naar Duplex.
Een resultaat op andermans terrein is een resultaat waar je op kunt bouwen. Op een test die het niet zelf schreef, beoordeeld door de eigen auteurs van de test, zag Duplex beter dan drie frontiermodellen wat elke bewerking zou veranderen, zonder één cent modelkosten. Met Duplex dat van je eigen systemen leert, krijgen je agents hetzelfde: elke bewerking getoetst aan wat die zal veranderen, voordat die wordt uitgevoerd.
Je agent staat op het punt een bewerking uit te voeren: een incident in je systeem oplossen.