Att förutsäga vad som ändras härnäst.
Steg 1 av 4: En operation
Slog tre spetsmodeller i att förutsäga systemändringar.
World of Workflows är ett offentligt benchmarktest för företagssystem byggt på ServiceNow: efter varje operation gäller det att förutsäga hur systemets poster ändras. Duplex lärde sig arbetsflödena under tiden, utan modellanrop, och poängsattes av benchmarktestets egen kod.
World of Workflows, av Skyfall Research, på ServiceNow.
- 0.256Poäng för förutsägelse av systemändringarGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204
- $0Modellkostnad570 förutsägelser med noll anrop; 84 på en spetsmodell kostade $13.40
- ~80%Beslut som besvarades utifrån det den har lärt sigDin AI tog resten
Före GPT-5.1, Gemini 3 Pro och Claude Sonnet 4.5.
Tillståndsprognos över tre körningar, jämförd fall för fall; ledningen är signifikant mot alla tre.
Steg 1 av 2: Poängen
I att förutsäga hur posterna ändras fick Duplex 0.256, före Gemini 3 Pro med 0.205, Claude Sonnet 4.5 med 0.204 och GPT-5.1 med 0.166.
Duplex först, din modell bakom.
Duplex svarar på det den kan och skickar resten till GPT-5.6.
Steg 1 av 2: Allt till modellen
Att skicka alla 806 beslut till GPT-5.6 skulle kosta cirka $129, varje körning.
Så genomfördes det.
- Benchmark
- World of Workflows, från Skyfall Research, byggt på ServiceNow: offentligt, under mit-licensen.
- Arbetet
- Förutsäga hur posterna ändras efter en operation, och räkna ut vilken operation som orsakade en ändring.
- Poängsättning
- Benchmarktestets egen poängkod, oförändrad, kontrollerad mot författarnas publicerade siffror.
- Så kördes Duplex
- Varje steg förutsades innan svaret visades, och inlärningen skedde bara från steg som redan poängsatts, utan modellanrop.
- Jämfört med
- De förutsägelsefiler som benchmarktestets författare publicerade för GPT-5.1, Gemini 3 Pro och Claude Sonnet 4.5.
- Omfattning
- Tre körningar med 570 förutsägelser, med parade signifikanstester på samma fall.
Vad det betyder för ditt arbete.
Den lär sig hur dina system beter sig.
Duplex förutsade hur poster i ServiceNow ändras bättre än tre spetsmodeller.
Utan modellkostnad.
570 förutsägelser per körning, utan modellanrop.
Din modell där den hjälper.
När Duplex svarade först med GPT-5.6 bakom sig tog den ungefär 80% av besluten och sänkte notan från ungefär $129 till $29.
Se det i ditt eget arbete.
Från din egen assistent till varje agent ditt företag kör sätter en pilot Duplex på ditt eget arbete, med mätetal som avtalas innan den börjar.