Předpovídání toho, co se změní.
Krok 1 z 4: Operace
Překonal tři špičkové modely v předpovídání změn systému.
World of Workflows je veřejný podnikový benchmark postavený na ServiceNow: po každé operaci předpovědět, jak se změní záznamy systému. Duplex se pracovní postupy učil za pochodu, bez volání modelu, a hodnotil ho vlastní kód benchmarku.
World of Workflows, od Skyfall Research, na ServiceNow.
- 0.256Skóre předpovědi změn systémuGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204
- $0Výdaje za model570 předpovědí bez volání; 84 na špičkovém modelu stálo $13.40
- ~80%Rozhodnutí zodpovězená z toho, co se naučilZbytek převzala vaše AI
Před GPT-5.1, Gemini 3 Pro i Claude Sonnet 4.5.
Předpověď stavu během tří běhů, porovnaná případ po případu; náskok je významný vůči všem třem.
Krok 1 z 2: Skóre
V předpovídání toho, jak se mění záznamy, dosáhl Duplex 0.256, před Gemini 3 Pro s 0.205, Claude Sonnet 4.5 s 0.204 a GPT-5.1 s 0.166.
Nejdřív Duplex, za ním váš model.
Duplex odpoví, na co může, a zbytek předá GPT-5.6.
Krok 1 z 2: Vše modelu
Poslat všech 806 rozhodnutí do GPT-5.6 by stálo zhruba $129, v každém běhu.
Jak byl proveden.
- Benchmark
- World of Workflows od Skyfall Research, postavený na ServiceNow: veřejný, pod licencí MIT.
- Práce
- Předpovědět, jak se po operaci změní záznamy, a zjistit, která operace změnu způsobila.
- Hodnocení
- Vlastní hodnoticí kód benchmarku, neupravený, ověřený proti číslům, která autoři zveřejnili.
- Jak Duplex běžel
- Každý krok předpovězen dřív, než se ukázala odpověď, učení jen z již ohodnocených kroků, bez volání modelu.
- Porovnáno s
- Soubory předpovědí, které autoři benchmarku zveřejnili Pro GPT-5.1, Gemini 3 Pro a Claude Sonnet 4.5.
- Rozsah
- Tři běhy po 570 předpovědích, s párovými testy významnosti na stejných případech.
Co to znamená pro vaši práci.
Učí se, jak se vaše systémy chovají.
Duplex předpovídal změny záznamů v ServiceNow lépe než tři špičkové modely.
Bez nákladů na model.
570 předpovědí na běh, bez volání modelu.
Váš model tam, kde pomůže.
Duplex odpovídal jako první s GPT-5.6 v záloze, převzal zhruba 80% rozhodnutí a snížil účet z přibližně $129 na $29.
Ověřte si to na vlastní práci.
Od vašeho vlastního asistenta po každého agenta, kterého vaše firma provozuje: v pilotním projektu běží Duplex na vaší vlastní práci, s měřítky dohodnutými před začátkem.