Når et selskap viser deg et diagram med seg selv på toppen, er det første du bør spørre om, hvem som skrev testen. En test du lager selv, har en tendens til å måle det du er god på, uansett hvor nøye du er. Du velger oppgavene, dataene og poenggivingen, og utenfra kan ingen se hvor mye av resultatet som er produktet, og hvor mye som er testen.
Resultatene som er verdt mest, er de som oppnås på andres hjemmebane: en test laget av folk uten noen interesse i produktet ditt, besvart på de samme oppgavene som alle andre og vurdert av dem som skrev den. Du velger ikke spørsmålene, og du kan ikke flytte målstolpene. Det er forskjellen på å vinne på hjemmebane og å vinne på bortebane.
World of Workflows er en slik bortebane. Forfatterne bygde den på ServiceNow og vurderte den med sin egen evaluerer. Duplex stilte opp mot tre ledende modeller og kom best ut i å forutsi hvordan systemet endres, uten et eneste modellkall.
World of Workflows: en offentlig benchmark på ServiceNow, poengsatt av forfatterne selv.
Andres test, andres poengberegning.
Benchmarken setter KI inn i den typen system der bedriftsarbeid foregår: hendelser, forespørsler og godkjenninger, hver med sine egne regler for hva som følger. En agent som arbeider i ServiceNow, må forstå hva en operasjon vil gjøre, i tillegg til hva forespørselen ber om. En av tingene benchmarken tester, er om du kan forutsi hvordan systemet endres etter en operasjon.
Hver oppgave kom fra forfatterne av benchmarken, som arbeidet uavhengig av Vareon. Duplex og tre ledende modeller besvarte de samme oppgavene, på tre frakoblede spor, tre kjøringer hver, og forfatternes egen evaluerer vurderte hver kjøring. Selskapet som ble testet, valgte verken spørsmålene eller vurderingen.
Det er dette som gjør resultatet lett å stole på og lett å gjenta. Hvem som helst kan ta den samme benchmarken, kjøre den på samme måte og vurdere den med den samme evaluereren, og få et tall som betyr det samme for alle som tok testen.
Og feltet var sterkt. GPT-5.1, Gemini 3 Pro og Claude Sonnet 4.5 er ledende modeller, hver blant de mest kapable generelle modellene i sin tid, og de bidrar med bred kunnskap og grundig resonnering til enhver oppgave de får. På en bane ingen av dem hadde valgt, var spørsmålet det samme for alle fire: hva vil denne operasjonen endre?
Forfatterne av benchmarken laget oppgavene på ServiceNow, uavhengig av Vareon.
Best til å forutsi hva som endres.
Å forutsi den endringen er vanskeligere enn det høres ut. Avhengig av hvordan et team har satt opp systemet, kan løsningen av en hendelse lukke relaterte oppgaver eller varsle en hel gruppe. Disse virkningene ligger i systemets egne regler og ikke i ordlyden i forespørselen, så en modell som leser forespørselen, må resonnere seg frem til dem ut fra generell kunnskap om lignende systemer.
Duplex forutså det best. Den fikk 0.256, mot 0.205 for Gemini 3 Pro, 0.204 for Claude Sonnet 4.5 og 0.166 for GPT-5.1, og forspranget er statistisk signifikant mot alle tre, på de samme oppgavene.
Den gjorde dette uten modellkall. Duplex gjorde 570 prediksjoner uten modellkostnad, mens 84 prediksjoner på en ledende modell kostet $13.40. Den forskjellen er liten i en benchmark og stor i produksjon, der en agent stiller det samme spørsmålet før hver operasjon, hele dagen.
Forskjellen ligger i hva hver av dem bidrar med. En ledende modell er generell intelligens, lært langsomt, som neocortex: den kjenner verden. Duplex er kjøretidsintelligens, rask, som hippocampus: den lærer hvordan dette systemet oppfører seg ut fra det som skjer i det, så å forutsi neste endring er noe den vet, og ikke noe den må regne seg frem til.
Agentene dine kan se seg for før de handler.
En agent som arbeider i systemene dine, endrer virkelige ting. Den lukker hendelser, omfordeler forespørsler og forteller folk hva som skjedde. De kostbare feilene er dem den ikke så komme: en hendelse løst uten avslutningsnotatet den trenger, eller en innringer som fikk beskjed før noe var løst. Når noen merker det, har endringen allerede skjedd.
Duplex lærer hvordan dine egne systemer oppfører seg: hva hver handling endrer, og hva som kommer etterpå. Så før agenten din kjører en operasjon, kan Duplex fortelle den hva som vil endres, statusen, notatet og hvem som får beskjed, og agenten sjekker det først, slik en påpasselig kollega ser seg for før knappen trykkes. Hvis prediksjonen viser at innringeren får beskjed før rettelsen er bekreftet, kan agenten stoppe og spørre.
Prediksjon er ikke hele jobben, og benchmarken viser hvor grensen går. På nøyaktig rekonstruksjon av handlinger, som betyr å navngi den presise operasjonen med hver detalj riktig, spilte Duplex likt med GPT-5.1 og Gemini 3 Pro. Det er arbeid der en modells resonnering gjør seg fortjent til plassen sin, så Duplex svarer på det den har lært, og KI-en din tar resten. Hvert resultat teamet ditt bekrefter, flytter litt mer av det arbeidet over til Duplex.
Et resultat på andres hjemmebane er et du kan planlegge ut fra. På en test den ikke skrev selv, vurdert av testens egne forfattere, så Duplex hva hver operasjon ville endre bedre enn tre ledende modeller, helt uten modellkostnader. Med Duplex som lærer av dine egne systemer, får agentene dine det samme: hver operasjon kontrollert mot hva den vil endre, før den kjøres.
Agenten din skal til å kjøre en operasjon: løse en hendelse i systemet ditt.