Vad Duplex levererar, i siffror.
Varje siffra bredvid det den slog: modellen ensam, en cache, hämtning eller finjustering.
- −90.3%Modellanrop, med högre träffsäkerhet94.6% träffsäkerhet, mot 59.8% för modellen ensam
- 0%Inaktuella svar efter en regeländringCache och hämtning: 72%
- 6 / 6Tester där Duplex slog finjustering+30.3 procentenheter i snitt, utan träningskörning
- 3 / 3Spetsmodeller slagna i att förutsäga systemändringarI ett offentligt benchmarktest för företagssystem, utan modellanrop
Ett flöde av 3,000 beslut, på tre sätt.
Steg 1 av 3: Noggrannhet
Alla resultat.
90% färre modellanrop, och mer träffsäker.
94.6%Träffsäkerhet, den högsta i testetModellen ensam 59.8% · med en cache 77.3%- −90.3% Modellanrop · −84.8% kostnad · −81.9% latens
- ~23× Snabbare efter inlärning · ≈97 ms mot ≈2,231 ms
Ett flöde av 3,000 beslut där reglerna ändrades fem gånger, mot spetsmodellen ensam och med en semantisk cache; en körning med 300 beslut lade till en cache med hämtning och en kunskapsgraf. Varje metod använde samma modell.
Mer träffsäker i varje inställning, till en sjundedel av kostnaden.
94.1 till 94.8%Träffsäkerhet för Duplex, i var och en av åtta inställningarDet bästa en cache nådde: 77.3%- 84 till 91% I tre nya körningar med 1,000 beslut · Det bästa en cache nådde: ungefär 73%
Ett flöde med 3,000 beslut där varje metod kördes över hela sitt spann av inställningar, sedan tre nya körningar med 1,000 beslut i en andra, oberoende testuppställning.
Fortsätter att lära sig utan att glömma, bli inaktuell eller växa.
5 / 5Krav för inlärning i produktion, alla uppfyllda i varje körningCache och hämtning i snitt 2.2 / 5 · finjustering online 4 / 5- 0% Inaktuella svar efter en policyändring · Cache och hämtning 72%
- Konstant Fotavtryck över tid · Cache och hämtning växte till ≈1,300 rader
Tio körningar, med samma övervakning och samma indata för alla metoder.
Hanterar nya formuleringar, och upptäcker de snarlika fallen.
7.5%Felaktiga svar på snarlika förfrågningarEn cache 45.3%, ungefär 6× fler- 98.98% Av förfrågningarna hanterades korrekt: rätt besvarade eller lämnade till din AI · Duplex besvarade 95.78% av kända förfrågningar själv
- 0.996 Poäng för att skilja välbekant från nytt, av 1 · En cache 0.930
Tio inlärda avsikter och sex nivåer av nyhet, från exakta upprepningar till förfrågningar från en annan domän, över tio körningar.
Planerar den kortaste vägen, med noll modelltokens.
100%Lyckade planer, i varje körningEn reaktiv agent: 0% · Duplex använde inga modelltokens- 0% En reaktiv, girig agent
- ~204 Tokens per beslut som en spetsmodell förbrukar för att matcha den
En värld i flera steg över tio körningar, mot en reaktiv agent och en spetsmodell som fick samma uppgift.
Får agentuppgifter att fortsätta lyckas, med färre modellanrop.
83.3%UppgiftsframgångModellen vid varje replik: 82.5%- 12.8% Repliker slutförda utan modellen · ≈15% färre modellanrop
- 100% Lyckade nya uppgifter
Τ-bench (tau2-bench), detaljhandel, av Sierra Research. Den oförändrade detaljhandelsmiljön, med samma modell, verktyg och användarsimulator för alla metoder, över tre körningar med fyrtio episoder.
En jämn läskostnad, hur lång historiken än är.
96%Aktuella svar där ett faktum hade ändratsDet nya faktumet, inte det gamla- 3.7× Mindre läsning per fråga än att läsa hela historiken · Vid fyrtio sessioners historik
- 84% Träffsäkerhet vid fyrtio sessioners historik
LongMemEval, av Wu et al., ICLR 2025. Femtio frågor, var och en ställd med historiken på 2, 5, 10, 20 och 40 sessioner.
Blockerar varje attack, och släpper igenom vanligt arbete.
0%Lyckade attackerI sex familjer av omformulerade attacker- 0.7% Felaktiga avslag · Lägst av alla metoder som stoppade varje attack
- 40 / 40 Förgiftade exempel borttagna · Noggrannhet åter inom 1 poäng
Sex attackfamiljer, omformulerade, med ofarliga förfrågningar skrivna för att likna attackerna.
Lär sig en ny färdighet på egen hand, med modellen avstängd.
100%Uppgifter slutförda med modellen avstängd, i varje körningEn spetsmodell behövde ≈507 anrop per körning- 0.26 ms För att återanvända en färdighet · Med 0 modellanrop
- 627 Osäkra åtgärder nekade per körning · Och den säkra färdigheten lärdes ändå in
Fyra testsviter över tio körningar, var och en bedömd efter sin sämsta körning.
Slog tre spetsmodeller i att förutsäga systemändringar.
0.256Poäng för förutsägelse av systemändringarGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204- $0 Modellkostnad · 570 förutsägelser med noll anrop; 84 på en spetsmodell kostade $13.40
- ~80% Beslut som besvarades utifrån det den har lärt sig · Din AI tog resten
World of Workflows, av Skyfall Research / ServiceNow. Tre offlinespår, poängsatta av benchmarkförfattarnas egen utvärderare, över tre körningar.
Slår finjustering, utan träningskörning.
6 / 6Tester där Duplex slog en finjusterad adapter+30.3 procentenheter i snitt- 0 Omträning för att flytta till en annan modellfamilj · Adaptrarna gick att flytta i 0 av 6
- 60 till 79% Besvarat utifrån det den lärt sig · På båda modellfamiljerna
Tre offentliga dataset för avsiktsklassificering, två öppna modellfamiljer och tre körningar, med samma frysta modell och data för alla metoder.
Se det i ditt eget arbete.
Från din egen assistent till varje agent ditt företag kör sätter en pilot Duplex på ditt eget arbete, med mätetal som avtalas innan den börjar.