Wat Duplex oplevert, in cijfers.
Elk getal naast wat het versloeg: het model alleen, een cache, retrieval of fine-tuning.
- −90.3%Modelaanroepen, nauwkeuriger94.6% nauwkeurig, tegenover 59.8% voor het model alleen
- 0%Verouderde antwoorden na een regelwijzigingCache en retrieval: 72%
- 6 / 6Tests waarin Duplex fine-tuning versloegGemiddeld +30.3 punten, zonder trainingsrun
- 3 / 3Frontiermodellen verslagen in het voorspellen van systeemwijzigingenOp een openbare enterprise-benchmark, zonder modelaanroepen
Één reeks van 3,000 beslissingen, op drie manieren.
Stap 1 van 3: Accuratesse
Alle resultaten.
90% minder modelaanroepen, en nauwkeuriger.
94.6%Nauwkeurigheid, de hoogste in de testHet model alleen 59.8% · met een cache 77.3%- −90.3% Modelaanroepen · −84.8% kosten · −81.9% latentie
- ~23× Sneller zodra geleerd · ≈97 ms tegenover ≈2,231 ms
Een stroom van 3,000 beslissingen waarin de regels vijf keer veranderden, tegenover het frontiermodel alleen en met een semantische cache; een run van 300 beslissingen voegde een cache met retrieval en een kennisgraaf toe. Elke aanpak gebruikte hetzelfde model.
Nauwkeuriger bij elke instelling, voor een zevende van de kosten.
94.1 tot 94.8%Nauwkeurigheid van Duplex, bij elk van de acht instellingenHet beste wat een cache haalde: 77.3%- 84 tot 91% Op drie nieuwe runs van 1,000 beslissingen · Het beste wat een cache haalde: ongeveer 73%
Een reeks van 3,000 beslissingen, waarbij elke aanpak over zijn volledige bereik aan instellingen werd getest, daarna drie nieuwe runs van 1,000 beslissingen in een tweede, onafhankelijke opzet.
Blijft leren zonder te vergeten, te verouderen of te groeien.
5 / 5Eisen voor leren in productie, allemaal gehaald in elke runCache en retrieval gemiddeld 2.2 / 5 · online fine-tuning 4 / 5- 0% Verouderde antwoorden na een beleidswijziging · Cache en retrieval 72%
- Constant Omvang in de loop van de tijd · Cache en retrieval groeiden tot ≈1,300 rijen
Tien runs, met dezelfde supervisie en dezelfde invoer voor elke aanpak.
Kan overweg met nieuwe formuleringen, en herkent de dubbelgangers.
7.5%Foute antwoorden bij dubbelgangersEen cache 45.3%, ongeveer 6× zoveel- 98.98% Van de verzoeken correct afgehandeld: goed beantwoord, of overgedragen aan je AI · Duplex beantwoordde 95.78% van de bekende verzoeken zelf
- 0.996 Score voor het onderscheiden van bekend en nieuw, maximaal 1 · Een cache 0.930
Tien geleerde intents en zes niveaus van nieuwheid, van exacte herhalingen tot verzoeken uit een ander domein, over tien runs.
Plant de kortste route, met nul modeltokens.
100%Plansucces, in elke runEen reactieve agent: 0% · Duplex gebruikte geen modeltokens- 0% Een reactieve, gretige agent
- ~204 Tokens per beslissing die een frontiermodel uitgeeft om het te evenaren
Een wereld met meerdere stappen over tien runs, tegenover een reactieve agent en een frontiermodel met dezelfde taak.
Laat agenttaken blijven slagen, met minder modelaanroepen.
83.3%TaaksuccesHet model bij elke beurt: 82.5%- 12.8% Beurten afgehandeld zonder het model · ≈15% minder modelaanroepen
- 100% Succes bij nieuwe taken
Τ-bench (tau2-bench), retail, van Sierra Research. De ongewijzigde retailomgeving, met hetzelfde model, dezelfde tools en dezelfde gebruikerssimulator voor elke aanpak, over drie runs van veertig episodes.
Stabiele leeskosten, hoe lang de geschiedenis ook is.
96%Actuele antwoorden waar een feit was veranderdHet nieuwe feit, niet het oude- 3.7× Minder leeswerk per vraag dan de hele geschiedenis lezen · Bij een geschiedenis van veertig sessies
- 84% Nauwkeurigheid bij een geschiedenis van veertig sessies
LongMemEval, van Wu et al., ICLR 2025. Vijftig vragen, elk gesteld met een geschiedenis van 2, 5, 10, 20 en 40 sessies.
Blokkeert elke aanval, en laat gewoon werk door.
0%AanvalssuccesOver zes families van geparafraseerde aanvallen- 0.7% Valse weigeringen · Het laagste van alle aanpakken die elke aanval tegenhielden
- 40 / 40 Vergiftigde samples verwijderd · Accuratesse binnen 1 punt terug
Zes aanvalsfamilies, geparafraseerd, met onschuldige verzoeken die zo geschreven zijn dat ze op de aanvallen lijken.
Leert zelf een nieuwe vaardigheid, met het model uitgeschakeld.
100%Taken voltooid met het model uit, in elke runEen frontiermodel had ≈507 aanroepen per run nodig- 0.26 ms Om een vaardigheid te hergebruiken · Bij 0 modelaanroepen
- 627 Onveilige acties geweigerd per run · En de veilige vaardigheid werd toch geleerd
Vier testreeksen over tien runs, elk beoordeeld op de slechtste run.
Versloeg drie frontiermodellen in het voorspellen van systeemwijzigingen.
0.256Score voor het voorspellen van systeemwijzigingenGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204- $0 Modeluitgaven · 570 voorspellingen met nul aanroepen; 84 op een frontiermodel kostten $13.40
- ~80% Beslissingen beantwoord vanuit wat het heeft geleerd · Je AI deed de rest
World of Workflows, van Skyfall Research / ServiceNow. Drie offline tracks, beoordeeld door de eigen evaluator van de benchmarkauteurs, over drie runs.
Verslaat fine-tuning, zonder trainingsrun.
6 / 6Tests waarin Duplex een gefinetunede adapter versloegGemiddeld +30.3 punten- 0 Hertraining om naar een andere modelfamilie over te stappen · De adapters gingen in 0 van de 6 mee
- 60 tot 79% Beantwoord uit wat het heeft geleerd · Op beide modelfamilies
Drie openbare intent-datasets, twee open modelfamilies en drie runs, met hetzelfde bevroren model en dezelfde data voor elke aanpak.
Zie het in je eigen werk.
Van je eigen assistent tot elke agent die je bedrijf draait: een pilot zet Duplex in op je eigen werk, met vooraf afgesproken maatstaven.