Przewidywanie, co zmieni się dalej.
Krok 1 z 4: Operacja
Pokonał trzy czołowe modele w przewidywaniu zmian w systemie.
World of Workflows to publiczny benchmark dla przedsiębiorstw zbudowany na ServiceNow: po każdej operacji trzeba przewidzieć, jak zmienią się rekordy systemu. Duplex uczył się procesów na bieżąco, bez wywołań modelu, a ocenił go własny kod benchmarku.
World of Workflows, autorstwa Skyfall Research, na ServiceNow.
- 0.256Wynik przewidywania zmian w systemieGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204
- $0Wydatki na model570 przewidywań przy zerowej liczbie wywołań; 84 na czołowym modelu kosztowały $13.40
- ~80%Decyzje rozstrzygnięte na podstawie tego, czego się nauczyłResztę przejęła twoja AI
Przed GPT-5.1, Gemini 3 Pro i Claude Sonnet 4.5.
Przewidywanie stanu w trzech przebiegach, porównywane przypadek po przypadku; przewaga jest istotna względem wszystkich trzech.
Krok 1 z 2: Wynik
W przewidywaniu, jak zmieniają się rekordy, Duplex uzyskał 0.256, przed Gemini 3 Pro z 0.205, Claude Sonnet 4.5 z 0.204 i GPT-5.1 z 0.166.
Najpierw Duplex, za nim twój model.
Duplex odpowiada na to, co może, a resztę przekazuje do GPT-5.6.
Krok 1 z 2: Wszystko do modelu
Wysłanie wszystkich 806 decyzji do GPT-5.6 kosztowałoby około $129 w każdym przebiegu.
Jak go przeprowadzono.
- Benchmark
- World of Workflows, autorstwa Skyfall Research, zbudowany na ServiceNow: publiczny, na licencji MIT.
- Praca
- Przewiduj, jak zmieniają się rekordy po operacji, i ustal, która operacja spowodowała zmianę.
- Punktacja
- Własny kod punktacji benchmarku, bez modyfikacji, sprawdzony z liczbami opublikowanymi przez autorów.
- Jak działał Duplex
- Każdy krok przewidywany przed pokazaniem odpowiedzi, nauka tylko z kroków już ocenionych, bez wywołań modelu.
- Porównywane z
- Pliki predykcji opublikowane przez autorów benchmarku dla GPT-5.1, Gemini 3 Pro i Claude Sonnet 4.5.
- Skala
- Trzy przebiegi po 570 przewidywań, z parowanymi testami istotności na tych samych przypadkach.
Co to oznacza dla twojej pracy.
Uczy się, jak zachowują się twoje systemy.
Duplex przewidywał zmiany rekordów ServiceNow lepiej niż trzy czołowe modele.
Bez kosztów modelu.
570 predykcji na przebieg, bez wywołań modelu.
Twój model tam, gdzie pomaga.
Odpowiadając jako pierwszy, z GPT-5.6 w odwodzie, Duplex przejął około 80% decyzji i obniżył rachunek z około $129 do $29.
Zobacz to na własnej pracy.
Od twojego własnego asystenta po każdego agenta, którego uruchamia twoja firma: pilotaż uruchamia Duplex na twojej własnej pracy, ze wskaźnikami uzgodnionymi przed startem.