Co Duplex přináší, v číslech.
Každé číslo vedle toho, co překonalo: samotný model, cache, vyhledávání nebo doladění.
- −90.3%Volání modelu při vyšší přesnostiPřesnost 94.6%, proti 59.8% u samotného modelu
- 0%Zastaralé odpovědi po změně pravidlaCache a vyhledávání: 72%
- 6 / 6Testy, ve kterých Duplex porazil doladěníV průměru +30.3 bodu, bez tréninkového běhu
- 3 / 3Špičkové modely poražené v předpovídání změn systémuVe veřejném podnikovém benchmarku, bez volání modelu
Jeden proud 3,000 rozhodnutí, třemi způsoby.
Krok 1 z 3: Přesnost
Všechny výsledky.
O 90% méně volání modelu a vyšší přesnost.
94.6%Přesnost, nejvyšší v testuSamotný model 59.8% · s cache 77.3%- −90.3% Volání modelu · Náklady −84.8% · latence −81.9%
- ~23× Rychlejší po naučení · ≈97 ms proti ≈2,231 ms
Proud 3,000 rozhodnutí, v němž se pravidla pětkrát změnila, proti samotnému špičkovému modelu a modelu se sémantickou cache; běh s 300 rozhodnutími přidal cache s vyhledáváním a znalostním grafem. Všechny přístupy používaly stejný model.
Přesnější v každém nastavení, za sedminu nákladů.
94.1 až 94.8%Přesnost Duplexu v každém z osmi nastaveníNejlepší výsledek cache: 77.3%- 84 až 91% Ve třech nových bězích po 1,000 rozhodnutích · Nejlepší výsledek cache: přibližně 73%
Proud 3,000 rozhodnutí, na kterém byl každý přístup proměřen v celém rozsahu svých nastavení, pak tři nové běhy po 1,000 rozhodnutích ve druhém, nezávislém uspořádání.
Učí se dál, aniž by zapomínal, zastarával nebo rostl.
5 / 5Požadavky na učení v provozu, všechny splněné v každém běhuCache a vyhledávání v průměru 2.2 / 5 · online doladění 4 / 5- 0% Zastaralé odpovědi po změně zásad · Cache a vyhledávání 72%
- Stálá Velikost v průběhu času · Cache a vyhledávání narostly na ≈1,300 řádků
Deset běhů se stejným dohledem a stejnými vstupy pro všechny přístupy.
Zvládá nové formulace a rozpozná klamně podobné požadavky.
7.5%Špatné odpovědi na klamně podobné požadavkyCache 45.3%, zhruba 6× více- 98.98% Požadavků vyřízených správně: správně zodpovězených, nebo předaných vaší AI · Duplex sám zodpověděl 95.78% známých požadavků
- 0.996 Skóre rozlišení známého od nového, z 1 · Cache 0.930
Deset naučených záměrů a šest úrovní novosti, od přesných opakování po požadavky z jiné oblasti, během deseti běhů.
Naplánuje nejkratší cestu bez jediného tokenu modelu.
100%Úspěšnost plánů v každém běhuReaktivní agent: 0% · Duplex nepoužil žádné tokeny modelu- 0% Reaktivní hladový agent
- ~204 Tokeny na rozhodnutí, které špičkový model utratí, aby se mu vyrovnal
Vícekrokový svět během deseti běhů, v porovnání s reaktivním agentem a špičkovým modelem se stejným úkolem.
Udržuje úspěšnost úkolů agentů s menším počtem volání modelu.
83.3%Úspěšnost úkolůModel v každém kole: 82.5%- 12.8% Kola dokončená bez modelu · O ≈15% méně volání modelu
- 100% Úspěšnost u nových úkolů
Τ-bench (tau2-bench), maloobchod, od Sierra Research. Neupravené maloobchodní prostředí se stejným modelem, nástroji a simulátorem uživatele pro všechny přístupy, ve třech bězích po čtyřiceti epizodách.
Stálé náklady na čtení, ať je historie jakkoli dlouhá.
96%Aktuální odpovědi tam, kde se fakt změnilNový fakt, ne ten starý- 3.7× Méně čtení na otázku než při čtení celé historie · Při čtyřiceti relacích historie
- 84% Přesnost při čtyřiceti relacích historie
LongMemEval, od Wu a kol., ICLR 2025. Padesát otázek, každá položená s historií o 2, 5, 10, 20 a 40 relacích.
Blokuje každý útok a běžnou práci pustí dál.
0%Úspěšnost útokůV šesti rodinách parafrázovaných útoků- 0.7% Mylná odmítnutí · Nejméně ze všech přístupů, které zastavily každý útok
- 40 / 40 Odstraněné otrávené vzorky · Přesnost zpět do 1 bodu
Šest rodin útoků v parafrázované podobě, s neškodnými požadavky napsanými tak, aby se útokům podobaly.
Naučí se novou dovednost sám, s vypnutým modelem.
100%Úkoly dokončené s vypnutým modelem, v každém běhuŠpičkový model potřeboval ≈507 volání na běh- 0.26 ms Na opětovné použití dovednosti · Při 0 voláních modelu
- 627 Odmítnuté nebezpečné akce na běh · A bezpečná dovednost byla přesto naučena
Čtyři sady během deseti běhů, každá hodnocená podle svého nejhoršího běhu.
Překonal tři špičkové modely v předpovídání změn systému.
0.256Skóre předpovědi změn systémuGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204- $0 Výdaje za model · 570 předpovědí bez volání; 84 na špičkovém modelu stálo $13.40
- ~80% Rozhodnutí zodpovězená z toho, co se naučil · Zbytek převzala vaše AI
World of Workflows, od Skyfall Research / ServiceNow. Tři offline disciplíny hodnocené vlastním vyhodnocovacím nástrojem autorů benchmarku, během tří běhů.
Překonává doladění, bez tréninkového běhu.
6 / 6Testy, ve kterých Duplex porazil doladěný adaptérV průměru +30.3 bodu- 0 Přetrénování při přechodu na jinou rodinu modelů · Adaptéry přešly v 0 z 6
- 60 až 79% Zodpovězeno z toho, co se naučil · Na obou rodinách modelů
Tři veřejné datasety záměrů, dvě otevřené rodiny modelů a tři běhy, se stejným zmrazeným modelem a daty pro všechny přístupy.
Ověřte si to na vlastní práci.
Od vašeho vlastního asistenta po každého agenta, kterého vaše firma provozuje: v pilotním projektu běží Duplex na vaší vlastní práci, s měřítky dohodnutými před začátkem.