Voorspellen wat er hierna verandert.
Stap 1 van 4: Een bewerking
Versloeg drie frontiermodellen in het voorspellen van systeemwijzigingen.
World of Workflows is een openbare enterprise-benchmark gebouwd op ServiceNow: voorspel na elke bewerking hoe de records van het systeem veranderen. Duplex leerde de Workflows gaandeweg, zonder modelaanroepen, en werd beoordeeld door de eigen code van de benchmark.
World of Workflows, van Skyfall Research, op ServiceNow.
- 0.256Score voor het voorspellen van systeemwijzigingenGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204
- $0Modeluitgaven570 voorspellingen met nul aanroepen; 84 op een frontiermodel kostten $13.40
- ~80%Beslissingen beantwoord vanuit wat het heeft geleerdJe AI deed de rest
Vóór GPT-5.1, Gemini 3 Pro en Claude Sonnet 4.5.
Statusvoorspelling over drie runs, geval voor geval vergeleken; de voorsprong is significant tegenover alle drie.
Stap 1 van 2: De score
In het voorspellen hoe de records veranderen scoorde Duplex 0.256, vóór Gemini 3 Pro met 0.205, Claude Sonnet 4.5 met 0.204 en GPT-5.1 met 0.166.
Eerst Duplex, je model erachter.
Duplex beantwoordt wat het kan en geeft de rest door aan GPT-5.6.
Stap 1 van 2: Alles naar het model
Alle 806 beslissingen naar GPT-5.6 sturen zou elke run ongeveer $129 kosten.
Hoe het is uitgevoerd.
- Benchmark
- World of Workflows, van Skyfall Research, gebouwd op ServiceNow: openbaar, onder de MIT-licentie.
- Het werk
- Voorspel hoe de records veranderen na een bewerking, en achterhaal welke bewerking een verandering veroorzaakte.
- Beoordeling
- De eigen beoordelingscode van de benchmark, ongewijzigd, gecontroleerd aan de hand van de gepubliceerde cijfers van de auteurs.
- Hoe Duplex draaide
- Elke stap voorspeld voordat het antwoord werd getoond, alleen lerend van stappen die al waren beoordeeld, zonder modelaanroepen.
- Vergeleken met
- De voorspellingsbestanden die de auteurs van de benchmark publiceerden voor GPT-5.1, Gemini 3 Pro en Claude Sonnet 4.5.
- Omvang
- Drie runs van 570 voorspellingen, met gepaarde significantietests op dezelfde gevallen.
Wat het betekent voor je werk.
Het leert hoe je systemen zich gedragen.
Duplex voorspelde wijzigingen in ServiceNow-records beter dan drie frontiermodellen.
Zonder modelkosten.
570 voorspellingen per run, zonder modelaanroepen.
Je model waar het helpt.
Door als eerste te antwoorden, met GPT-5.6 erachter, nam Duplex ongeveer 80% van de beslissingen op zich en verlaagde het de rekening van ongeveer $129 naar $29.
Zie het in je eigen werk.
Van je eigen assistent tot elke agent die je bedrijf draait: een pilot zet Duplex in op je eigen werk, met vooraf afgesproken maatstaven.