At forudsige den næste ændring.
Trin 1 af 4: En operation
Slog tre frontier-modeller i at forudsige systemændringer.
World of Workflows er en offentlig enterprise-benchmark bygget på ServiceNow: forudsig efter hver operation, hvordan systemets poster ændrer sig. Duplex lærte arbejdsgangene undervejs, uden modelkald, og blev bedømt af benchmarkens egen kode.
World of Workflows, af Skyfall Research, på ServiceNow.
- 0.256Score for forudsigelse af systemændringerGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204
- $0Modeludgifter570 forudsigelser med nul kald; 84 på en frontiermodel kostede $13.40
- ~80%Beslutninger besvaret ud fra det, den har lærtDin AI tog resten
Foran GPT-5.1, Gemini 3 Pro og Claude Sonnet 4.5.
Tilstandsforudsigelse over tre kørsler, sammenlignet tilfælde for tilfælde; føringen er signifikant over for alle tre.
Trin 1 af 2: Scoren
I at forudsige, hvordan posterne ændrer sig, scorede Duplex 0.256, foran Gemini 3 Pro med 0.205, Claude Sonnet 4.5 med 0.204 og GPT-5.1 med 0.166.
Duplex først, din model bagved.
Duplex besvarer det, den kan, og sender resten videre til GPT-5.6.
Trin 1 af 2: Alt til modellen
At sende alle 806 beslutninger til GPT-5.6 ville koste omkring $129, hver kørsel.
Sådan blev det kørt.
- Benchmark
- World of Workflows, fra Skyfall Research, bygget på ServiceNow: offentlig, under mit-licensen.
- Arbejdet
- Forudsig, hvordan posterne ændrer sig efter en operation, og find ud af, hvilken operation der forårsagede en ændring.
- Bedømmelse
- Benchmarkens egen bedømmelseskode, uændret, kontrolleret mod forfatternes offentliggjorte tal.
- Sådan kørte Duplex
- Hvert trin forudsagt, før svaret blev vist, med læring kun fra trin, der allerede var bedømt, uden modelkald.
- Sammenlignet med
- De forudsigelsesfiler, benchmarkens forfattere offentliggjorde for GPT-5.1, Gemini 3 Pro og Claude Sonnet 4.5.
- Omfang
- Tre kørsler med 570 forudsigelser, med parrede signifikanstest på de samme tilfælde.
Hvad det betyder for dit arbejde.
Den lærer, hvordan dine systemer opfører sig.
Duplex forudsagde ændringer i ServiceNow-poster bedre end tre frontier-modeller.
Uden modelomkostninger.
570 forudsigelser pr. Kørsel uden modelkald.
Din model, hvor den hjælper.
Ved at svare først med GPT-5.6 bagved tog Duplex omkring 80% af beslutningerne og skar regningen ned fra omkring $129 til $29.
Se det på dit eget arbejde.
Fra din egen assistent til hver agent, din virksomhed kører, sætter et pilotprojekt Duplex på dit eget arbejde, med målepunkterne aftalt, før det går i gang.