Å forutsi neste endring.
Steg 1 av 4: En operasjon
Slo tre ledende modeller i å forutsi systemendringer.
World of Workflows er en offentlig benchmark for bedriftssystemer bygget på ServiceNow: etter hver operasjon skal man forutsi hvordan oppføringene i systemet endres. Duplex lærte arbeidsflytene underveis, uten modellkall, og ble vurdert av benchmarkens egen kode.
World of Workflows, av Skyfall Research, på ServiceNow.
- 0.256Poengsum for å forutsi systemendringerGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204
- $0Modellkostnad570 prediksjoner med null kall; 84 på en ledende modell kostet $13.40
- ~80%Beslutninger besvart ut fra det den har lærtKI-en din tok resten
Foran GPT-5.1, Gemini 3 Pro og Claude Sonnet 4.5.
Tilstandsprediksjon over tre kjøringer, sammenlignet sak for sak; forspranget er signifikant mot alle tre.
Steg 1 av 2: Poengsummen
I å forutsi hvordan postene endrer seg, fikk Duplex 0.256, foran Gemini 3 Pro med 0.205, Claude Sonnet 4.5 med 0.204 og GPT-5.1 med 0.166.
Duplex først, modellen din bak.
Duplex svarer på det den kan, og sender resten til GPT-5.6.
Steg 1 av 2: Alt til modellen
Å sende alle 806 beslutninger til GPT-5.6 ville kostet rundt $129, hver kjøring.
Slik ble det kjørt.
- Benchmark
- World of Workflows, fra Skyfall Research, bygget på ServiceNow: offentlig, under mit-lisensen.
- Arbeidet
- Forutsi hvordan oppføringene endres etter en operasjon, og finn ut hvilken operasjon som forårsaket en endring.
- Poengberegning
- Benchmarkens egen kode for poengberegning, uendret, kontrollert mot forfatternes publiserte tall.
- Slik kjørte Duplex
- Hvert steg forutsagt før svaret ble vist, med læring bare fra steg som allerede var vurdert, uten modellkall.
- Sammenlignet med
- Prediksjonsfilene som forfatterne av benchmarken publiserte for GPT-5.1, Gemini 3 Pro og Claude Sonnet 4.5.
- Omfang
- Tre kjøringer med 570 prediksjoner, med parede signifikanstester på de samme sakene.
Hva det betyr for arbeidet ditt.
Den lærer hvordan systemene dine oppfører seg.
Duplex forutså endringer i ServiceNow-oppføringer bedre enn tre ledende modeller.
Uten modellkostnad.
570 prediksjoner per kjøring, uten modellkall.
Modellen din der den hjelper.
Ved å svare først med GPT-5.6 bak seg tok Duplex rundt 80% av beslutningene og kuttet regningen fra rundt $129 til $29.
Se det på ditt eget arbeid.
Fra din egen assistent til hver agent bedriften din kjører, setter en pilot Duplex på ditt eget arbeid, med måltallene avtalt før den starter.