Når en virksomhed viser dig et diagram med sig selv i toppen, er det første, du skal spørge om, hvem der har skrevet testen. En test, du selv designer, har det med at måle det, du er god til, uanset hvor omhyggelig du er. Du vælger opgaverne, dataene og bedømmelsen, og udefra kan ingen se, hvor meget af resultatet der er produktet, og hvor meget der er testen.
De resultater, der er mest værd, er dem på en andens bane: en test bygget af folk uden egeninteresse i dit produkt, besvaret på de samme opgaver som alle andre og bedømt af dem, der skrev den. Du vælger ikke spørgsmålene, og du kan ikke flytte målstolperne. Det er forskellen mellem at vinde hjemme og at vinde på udebane.
World of Workflows er den slags bane. Forfatterne byggede den på ServiceNow og bedømte den med deres egen evaluator. Duplex stillede op mod tre frontiermodeller og var bedst til at forudsige, hvordan systemet ændrer sig, uden et eneste modelkald.
World of Workflows: en offentlig benchmark på ServiceNow, bedømt af dens egne forfattere.
En andens test, en andens bedømmelse.
Benchmarken sætter AI ind i den slags system, hvor virksomheders arbejde foregår: hændelser, anmodninger og godkendelser, hver med sine egne regler for, hvad der følger. En agent, der arbejder i ServiceNow, skal forstå, hvad en operation vil gøre, såvel som hvad anmodningen beder om. En af de ting, benchmarken tester, er, om du kan forudsige, hvordan systemet ændrer sig efter en operation.
Hver opgave kom fra benchmarkens forfattere, der arbejdede uafhængigt af Vareon. Duplex og tre frontiermodeller besvarede de samme, på tre offline-spor, tre kørsler hver, og forfatternes egen evaluator bedømte hver kørsel. Den virksomhed, der blev testet, valgte hverken spørgsmålene eller bedømmelsen.
Det er det, der gør resultatet let at stole på og let at gentage. Alle kan tage den samme benchmark, køre den på samme måde og bedømme den med den samme evaluator og få et tal, der betyder det samme for alle, der har gået op til testen.
Og feltet var stærkt. GPT-5.1, Gemini 3 Pro og Claude Sonnet 4.5 er frontiermodeller, hver blandt sin tids mest kompetente generelle modeller, og de bringer bred viden og omhyggeligt ræsonnement til enhver opgave, de får. På en bane, ingen af dem havde valgt, var spørgsmålet det samme for alle fire: hvad vil denne operation ændre?
Benchmarkens forfattere byggede opgaverne på ServiceNow, uafhængigt af Vareon.
Bedst til at forudsige, hvad der ændrer sig.
At forudsige den ændring er sværere, end det lyder. Afhængigt af, hvordan et team har sat systemet op, kan løsningen af en hændelse lukke relaterede opgaver eller give en hel gruppe besked. De virkninger bor i systemets egne regler og ikke i ordene i anmodningen, så en model, der læser anmodningen, må ræsonnere sig frem til dem ud fra generel viden om lignende systemer.
Duplex forudsagde den bedst. Den scorede 0.256, mod 0.205 for Gemini 3 Pro, 0.204 for Claude Sonnet 4.5 og 0.166 for GPT-5.1, og føringen er statistisk signifikant over for alle tre, på de samme opgaver.
Den gjorde det uden modelkald. Duplex lavede 570 forudsigelser til nul i modelomkostninger, mens 84 forudsigelser på en frontiermodel kostede $13.40. Den forskel er lille i en benchmark og stor i produktion, hvor en agent stiller det samme spørgsmål før hver operation, hele dagen.
Forskellen ligger i, hvad hver af dem bringer. En frontiermodel er generel intelligens, lært langsomt, som neocortex: den kender verden. Duplex er runtime-intelligens, hurtig, som hippocampus: den lærer, hvordan dette system opfører sig, ud fra det, der sker i det, så at forudsige den næste ændring er noget, den ved, snarere end noget, den skal regne ud.
Dine agenter kan se sig for, før de handler.
En agent, der arbejder i dine systemer, ændrer virkelige ting. Den lukker hændelser, omfordeler anmodninger og fortæller folk, hvad der er sket. De dyre fejl er dem, den ikke så komme: en hændelse, der løses uden den afsluttende note, den kræver, eller en opkalder, der får besked, før noget er rettet. Når nogen opdager det, er ændringen allerede sket.
Duplex lærer, hvordan dine egne systemer opfører sig: hvad hver handling ændrer, og hvad der kommer derefter. Så før din agent kører en operation, kan Duplex fortælle den, hvad der vil ændre sig, status, noten og hvem der får besked, og agenten tjekker det først, sådan som en omhyggelig kollega ser sig for, før der trykkes på knappen. Hvis forudsigelsen viser, at opkalderen får besked, før rettelsen er bekræftet, kan agenten stoppe og spørge.
Forudsigelse er ikke hele opgaven, og benchmarken viser, hvor grænsen går. Ved præcis rekonstruktion af handlinger, som betyder at navngive den nøjagtige operation med hver detalje rigtig, spillede Duplex lige med GPT-5.1 og Gemini 3 Pro. Det er arbejde, hvor en models ræsonnement gør sig fortjent til sin plads, så Duplex besvarer det, den har lært, og din AI tager resten. Hvert resultat, dit team bekræfter, flytter lidt mere af det arbejde over til Duplex.
Et resultat på en andens bane er et, du kan planlægge ud fra. På en test, den ikke selv havde skrevet, bedømt af testens egne forfattere, så Duplex bedre end tre frontiermodeller, hvad hver operation ville ændre, til nul i modelomkostninger. Når Duplex lærer af dine egne systemer, får dine agenter det samme: hver operation tjekket mod det, den vil ændre, før den kører.
Din agent skal til at køre en operation: løse en hændelse i dit system.