Když vám firma ukáže graf, kde je sama nahoře, první otázka zní, kdo napsal test. Test, který si navrhnete sami, má sklon měřit to, v čem jste dobří, ať jste jakkoli pečliví. Vybíráte úkoly, data i hodnocení a zvenku nikdo nepozná, kolik z výsledku je produkt a kolik test.
Nejvíc mají cenu výsledky na cizím hřišti: test postavený lidmi, kteří na vašem produktu nemají žádný zájem, řešený na stejných úkolech jako všichni ostatní a hodnocený těmi, kdo ho napsali. Otázky si nevybíráte a pravidla za pochodu měnit nemůžete. Je to rozdíl mezi výhrou doma a výhrou venku.
World of Workflows je právě takové hřiště. Jeho autoři ho postavili na ServiceNow a hodnotili vlastním vyhodnocovacím nástrojem. Duplex nastoupil proti třem špičkovým modelům a v předpovídání, jak se systém změní, vyšel jako první, bez jediného volání modelu.
World of Workflows: veřejný benchmark na ServiceNow, hodnocený vlastními autory.
Cizí test, cizí hodnocení.
Benchmark zasazuje AI do takového systému, v jakém probíhá podniková práce: incidenty, požadavky a schvalování, každé s vlastními pravidly o tom, co následuje. Agent pracující v ServiceNow musí rozumět tomu, co operace udělá, stejně jako tomu, oč požadavek žádá. Jedna z věcí, které benchmark testuje, je, zda dokážete předpovědět, jak se systém po operaci změní.
Každý úkol pochází od autorů benchmarku, kteří pracovali nezávisle na Vareon. Duplex a tři špičkové modely odpovídaly na tytéž úkoly ve třech offline disciplínách, každou ve třech bězích, a každý běh hodnotil vlastní vyhodnocovací nástroj autorů. Testovaná firma si nevybrala ani otázky, ani hodnocení.
Právě proto je snadné výsledku věřit a snadné ho zopakovat. Kdokoli může vzít stejný benchmark, spustit ho stejným způsobem, ohodnotit ho stejným vyhodnocovacím nástrojem a dostat číslo, které znamená totéž pro každého, kdo test absolvoval.
A konkurence byla silná. GPT-5.1, Gemini 3 Pro a Claude Sonnet 4.5 jsou špičkové modely, každý mezi nejschopnějšími obecnými modely své doby, a ke každému úkolu, který dostanou, přinášejí široké znalosti a pečlivé uvažování. Na hřišti, které si žádný z nich nevybral, byla otázka Pro všechny čtyři stejná: co tato operace změní?
Autoři benchmarku sestavili úkoly na ServiceNow, nezávisle na Vareon.
Nejlepší v předpovídání toho, co se změní.
Předpovědět tu změnu je těžší, než to zní. Podle toho, jak tým systém nastavil, může vyřešení incidentu uzavřít související úkoly nebo upozornit celou skupinu. Tyto účinky sídlí ve vlastních pravidlech systému, ne ve slovech požadavku, takže model, který požadavek čte, se k nim musí dopracovat úvahou z obecných znalostí o podobných systémech.
Duplex ji předpověděl nejlépe. Dosáhl skóre 0.256, oproti 0.205 u Gemini 3 Pro, 0.204 u Claude Sonnet 4.5 a 0.166 u GPT-5.1, a náskok je statisticky významný vůči všem třem, na stejných úkolech.
Dokázal to bez volání modelu. Duplex udělal 570 předpovědí s nulovými náklady na model, zatímco 84 předpovědí na špičkovém modelu stálo $13.40. V benchmarku je ten rozdíl malý a v produkci velký, protože tam agent klade stejnou otázku před každou operací, celý den.
Rozdíl je v tom, co který přináší. Špičkový model je obecná inteligence, naučená pomalu, jako neokortex: zná svět. Duplex je inteligence za běhu, rychlá, jako hipokampus: učí se, jak se tento systém chová, z toho, co se v něm děje, takže předpověď další změny je pro něj něco, co ví, a ne něco, co musí vymýšlet.
Vaši agenti se mohou podívat, než začnou jednat.
Agent, který pracuje ve vašich systémech, mění skutečné věci. Uzavírá incidenty, přeřazuje požadavky a říká lidem, co se stalo. Drahé chyby jsou ty, které nečekal: incident vyřešený bez závěrečné poznámky, kterou potřebuje, nebo volající informovaný dřív, než se cokoli opravilo. Než si toho kdokoli všimne, změna už proběhla.
Duplex se učí, jak se chovají vaše vlastní systémy: co která akce změní a co přijde dál. Než tedy váš agent spustí operaci, Duplex mu může říct, co se změní, stav, poznámku i to, kdo dostane zprávu, a agent si to nejdřív ověří, tak jako se pečlivý kolega podívá, než zmáčkne tlačítko. Pokud předpověď ukáže, že volající dostane zprávu dřív, než je oprava potvrzena, agent se může zastavit a zeptat.
Předpověď není celá práce a benchmark ukazuje, kde vede hranice. V přesné rekonstrukci akce, což znamená pojmenovat přesnou operaci se všemi podrobnostmi správně, se Duplex vyrovnal GPT-5.1 a Gemini 3 Pro. To je práce, kde si uvažování modelu své místo zaslouží, takže Duplex odpovídá na to, co se naučil, a zbytek převezme vaše AI. Každý výsledek, který váš tým potvrdí, přesune o kousek víc té práce na Duplex.
S výsledkem na cizím hřišti se dá počítat. V testu, který nenapsal, hodnoceném vlastními autory testu, viděl Duplex, co každá operace změní, lépe než tři špičkové modely, a to bez jakýchkoli nákladů na model. Když se Duplex učí z vašich vlastních systémů, dostanou vaši agenti totéž: každou operaci ověřenou podle toho, co změní, ještě než proběhne.
Váš agent se chystá spustit operaci: vyřešit incident ve vašem systému.