När ett företag visar dig ett diagram med sig självt i topp är det första du ska fråga vem som skrev testet. Ett test du utformar själv tenderar att mäta det du är bra på, hur noggrann du än är. Du väljer uppgifterna, datan och poängsättningen, och utifrån kan ingen avgöra hur mycket av resultatet som är produkten och hur mycket som är testet.
De resultat som är värda mest är de som tas på någon annans hemmaplan: ett test byggt av människor som inte har något intresse i din produkt, besvarat på samma uppgifter som alla andra och bedömt av dem som skrev det. Du väljer inte frågorna, och du kan inte flytta målstolparna. Det är skillnaden mellan att vinna hemma och att vinna borta.
World of Workflows är en sådan hemmaplan. Dess författare byggde det på ServiceNow och bedömde det med sin egen utvärderare. Duplex gick in mot tre spetsmodeller och kom ut i täten när det gällde att förutsäga hur systemet förändras, utan ett enda modellanrop.
World of Workflows: ett offentligt benchmarktest på ServiceNow, bedömt av sina egna författare.
Någon annans test, någon annans poängsättning.
Benchmarktestet placerar AI i den sortens system där företagens arbete sker: incidenter, förfrågningar och godkännanden, var och en med sina egna regler för vad som följer. En agent som arbetar i ServiceNow måste förstå vad en operation kommer att göra lika väl som vad förfrågan ber om. En av de saker benchmarktestet prövar är om man kan förutsäga hur systemet förändras efter en operation.
Varje uppgift kom från benchmarktestets författare, som arbetade oberoende av Vareon. Duplex och tre spetsmodeller besvarade samma uppgifter, på tre offlinespår, tre körningar vardera, och författarnas egen utvärderare bedömde varje körning. Företaget som testades valde varken frågorna eller rättningen.
Det är det som gör resultatet lätt att lita på och lätt att upprepa. Vem som helst kan ta samma benchmarktest, köra det på samma sätt och bedöma det med samma utvärderare, och få en siffra som betyder samma sak för alla som har gjort testet.
Och startfältet var starkt. GPT-5.1, Gemini 3 Pro och Claude Sonnet 4.5 är spetsmodeller, var och en bland de mest kapabla generella modellerna i sin tid, med bred kunskap och noggranna resonemang för varje uppgift de får. På en plan som ingen av dem hade valt var frågan densamma för alla fyra: vad kommer den här operationen att ändra?
Benchmarktestets författare byggde uppgifterna på ServiceNow, oberoende av Vareon.
Bäst på att förutsäga vad som ändras.
Att förutsäga den förändringen är svårare än det låter. Beroende på hur ett team har satt upp systemet kan lösningen av en incident stänga relaterade uppgifter eller meddela en hel grupp. De effekterna finns i systemets egna regler snarare än i förfrågans ord, så en modell som läser förfrågan måste resonera sig fram till dem utifrån allmän kunskap om liknande system.
Duplex förutsåg den bäst. Den fick 0.256, mot 0.205 för Gemini 3 Pro, 0.204 för Claude Sonnet 4.5 och 0.166 för GPT-5.1, och ledningen är statistiskt signifikant mot alla tre, på samma uppgifter.
Den gjorde det utan modellanrop. Duplex gjorde 570 förutsägelser till noll modellkostnad, medan 84 förutsägelser med en spetsmodell kostade $13.40. Den skillnaden är liten i ett benchmarktest och stor i produktion, där en agent ställer samma fråga före varje operation, hela dagen.
Skillnaden ligger i vad var och en bidrar med. En spetsmodell är generell intelligens, inlärd långsamt, som neokortex: den känner världen. Duplex är körtidsintelligens, snabb, som hippocampus: den lär sig hur just det här systemet beter sig av det som händer i det, så att förutsäga nästa förändring är något den vet snarare än något den måste räkna ut.
Dina agenter kan se sig för innan de agerar.
En agent som arbetar i dina system ändrar verkliga saker. Den stänger incidenter, omfördelar förfrågningar och berättar för folk vad som har hänt. De dyra misstagen är de den inte såg komma: en incident som löses utan den avslutande anteckning den behöver, eller en anmälare som får besked innan något har åtgärdats. När någon märker det har ändringen redan skett.
Duplex lär sig hur dina egna system beter sig: vad varje åtgärd ändrar och vad som kommer härnäst. Så innan din agent kör en operation kan Duplex berätta för den vad som kommer att ändras, statusen, anteckningen och vem som får besked, och agenten kontrollerar det först, så som en noggrann kollega ser efter före knapptrycket. Om förutsägelsen visar att anmälaren får besked innan åtgärden är bekräftad kan agenten stanna och fråga.
Förutsägelse är inte hela jobbet, och benchmarktestet visar var gränsen går. Vid exakt återskapande av åtgärden, vilket innebär att ange precis rätt operation med varje detalj korrekt, låg Duplex lika med GPT-5.1 och Gemini 3 Pro. Det är arbete där en modells resonemang förtjänar sin plats, så Duplex svarar på det den har lärt sig och din AI tar resten. Varje resultat som ditt team bekräftar flyttar lite mer av det arbetet till Duplex.
Ett resultat på någon annans hemmaplan är ett du kan planera efter. I ett test den inte skrev, bedömt av testets egna författare, såg Duplex bättre än tre spetsmodeller vad varje operation skulle ändra, helt utan modellkostnader. När Duplex lär sig av dina egna system får dina agenter samma sak: varje operation kontrollerad mot vad den kommer att ändra, innan den körs.
Din agent ska just köra en operation: lösa en incident i ditt system.