Gdy firma pokazuje ci wykres, na którego szczycie jest ona sama, pierwsze, o co warto zapytać, to kto napisał test. Test zaprojektowany przez samą firmę zwykle mierzy to, w czym jest ona dobra, nawet przy największej staranności. To ona wybiera zadania, dane i punktację, a z zewnątrz nikt nie oceni, ile w wyniku jest produktu, a ile testu.
Najwięcej są warte wyniki uzyskane na cudzym boisku: test zbudowany przez ludzi, którzy nie mają żadnego interesu w twoim produkcie, rozwiązywany na tych samych zadaniach co wszyscy inni i oceniany przez tych, którzy go napisali. Nie wybierasz pytań i nie możesz zmieniać reguł w trakcie gry. To różnica między wygraną u siebie a wygraną na wyjeździe.
World of Workflows to właśnie takie boisko. Jego autorzy zbudowali go na ServiceNow i oceniali własnym ewaluatorem. Duplex zmierzył się z trzema czołowymi modelami i wyszedł na prowadzenie w przewidywaniu, jak zmienia się system, bez ani jednego wywołania modelu.
World of Workflows: publiczny benchmark na ServiceNow, oceniany przez własnych autorów.
Cudzy test, cudza punktacja.
Benchmark umieszcza AI w takim systemie, w jakim toczy się praca przedsiębiorstw: incydenty, zgłoszenia i zatwierdzenia, każde z własnymi zasadami co do tego, co następuje potem. Agent pracujący w ServiceNow musi rozumieć nie tylko, o co prosi zgłoszenie, ale też, co zrobi operacja. Jedną z rzeczy, które sprawdza benchmark, jest to, czy da się przewidzieć, jak zmieni się system po operacji.
Każde zadanie pochodziło od autorów benchmarku, pracujących niezależnie od Vareon. Duplex i trzy czołowe modele rozwiązały te same zadania, na trzech ścieżkach offline, po trzy przebiegi, a każdy przebieg ocenił własny ewaluator autorów. Testowana firma nie wybierała ani pytań, ani sposobu oceniania.
Dlatego wynikowi łatwo zaufać i łatwo go powtórzyć. Każdy może wziąć ten sam benchmark, uruchomić go w ten sam sposób, ocenić tym samym ewaluatorem i dostać liczbę, która znaczy to samo dla każdego, kto podszedł do testu.
A stawka była mocna. GPT-5.1, Gemini 3 Pro i Claude Sonnet 4.5 to czołowe modele, każdy wśród najzdolniejszych modeli ogólnych swoich czasów, wnoszący szeroką wiedzę i staranne rozumowanie do każdego zadania, jakie dostanie. Na boisku, którego żaden z nich nie wybrał, pytanie dla wszystkich czterech było to samo: co zmieni ta operacja?
Autorzy benchmarku zbudowali zadania na ServiceNow, niezależnie od Vareon.
Najlepszy w przewidywaniu tego, co się zmieni.
Przewidzenie tej zmiany jest trudniejsze, niż się wydaje. Zależnie od tego, jak zespół skonfigurował system, rozwiązanie incydentu może zamknąć powiązane zadania albo powiadomić całą grupę. Te skutki kryją się we własnych zasadach systemu, a nie w słowach zgłoszenia, więc model czytający zgłoszenie musi dojść do nich rozumowaniem, na podstawie ogólnej wiedzy o podobnych systemach.
Duplex przewidział ją najlepiej. Uzyskał 0.256, wobec 0.205 dla Gemini 3 Pro, 0.204 dla Claude Sonnet 4.5 i 0.166 dla GPT-5.1, a przewaga jest istotna statystycznie względem wszystkich trzech, na tych samych zadaniach.
Zrobił to bez wywołań modelu. Duplex wykonał 570 przewidywań przy zerowym koszcie modelu, podczas gdy 84 przewidywania na czołowym modelu kosztowały $13.40. Ta różnica jest mała w benchmarku i duża na produkcji, gdzie agent zadaje to samo pytanie przed każdą operacją, przez cały dzień.
Różnica tkwi w tym, co każdy z nich wnosi. Czołowy model to inteligencja ogólna, wyuczona powoli, jak kora nowa: zna świat. Duplex to inteligencja w działaniu, szybka, jak hipokamp: uczy się, jak zachowuje się ten system, z tego, co się w nim dzieje, więc przewidywanie następnej zmiany jest dla niego czymś, co wie, a nie czymś, do czego musi dojść.
Twoi agenci mogą spojrzeć, zanim zadziałają.
Agent, który pracuje w twoich systemach, zmienia prawdziwe rzeczy. Zamyka incydenty, przekazuje zgłoszenia innym i informuje ludzi o tym, co się stało. Kosztowne błędy to te, których nie przewidział: incydent rozwiązany bez wymaganej notatki zamykającej albo zgłaszający powiadomiony, zanim cokolwiek naprawiono. Zanim ktokolwiek to zauważy, zmiana już się dokonała.
Duplex uczy się, jak zachowują się twoje własne systemy: co zmienia każde działanie i co następuje potem. Dlatego zanim twój agent uruchomi operację, Duplex może mu powiedzieć, co się zmieni, status, notatkę i kto zostanie powiadomiony, a agent najpierw to sprawdza, tak jak ostrożny współpracownik patrzy, zanim naciśnie przycisk. Jeśli przewidywanie pokazuje, że zgłaszający zostanie powiadomiony, zanim poprawka zostanie potwierdzona, agent może się zatrzymać i zapytać.
Przewidywanie to nie cała praca, a benchmark pokazuje, gdzie przebiega granica. W dokładnym odtwarzaniu działań, czyli wskazaniu precyzyjnej operacji z każdym szczegółem poprawnie, Duplex zremisował z GPT-5.1 i Gemini 3 Pro. To praca, w której rozumowanie modelu zasługuje na swoje miejsce, więc Duplex odpowiada na to, czego się nauczył, a resztę przejmuje twoja AI. Każdy wynik potwierdzony przez twój zespół przesuwa trochę więcej tej pracy do Duplex.
Na wyniku uzyskanym na cudzym boisku można oprzeć plany. W teście, którego nie napisał, ocenianym przez samych autorów testu, Duplex lepiej niż trzy czołowe modele widział, co zmieni każda operacja, i to bez żadnych kosztów modelu. Gdy Duplex uczy się z twoich własnych systemów, twoi agenci dostają to samo: każdą operację sprawdzoną pod kątem tego, co zmieni, zanim się wykona.
Twój agent zaraz wykona operację: rozwiązanie incydentu w twoim systemie.