Hva Duplex leverer, i tall.
Hvert tall ved siden av det som ble slått: modellen alene, en cache, gjenfinning eller finjustering.
- −90.3%Modellkall, med høyere nøyaktighet94.6% nøyaktighet, mot 59.8% for modellen alene
- 0%Utdaterte svar etter en regelendringCache og gjenfinning: 72%
- 6 / 6Tester der Duplex slo finjustering+30.3 poeng i snitt, uten treningskjøring
- 3 / 3Ledende modeller slått i å forutsi systemendringerPå en offentlig benchmark for bedriftssystemer, uten modellkall
Én strøm av 3,000 beslutninger, på tre måter.
Steg 1 av 3: Nøyaktighet
Alle resultater.
90% færre modellkall, og høyere nøyaktighet.
94.6%Nøyaktighet, den høyeste i testenModellen alene 59.8% · med en cache 77.3%- −90.3% Modellkall · −84.8% kostnad · −81.9% ventetid
- ~23× Raskere når det er lært · ≈97 ms mot ≈2,231 ms
En strøm på 3,000 beslutninger der reglene endret seg fem ganger, mot den ledende modellen alene og med en semantisk cache; en kjøring på 300 beslutninger la til en cache med gjenfinning og en kunnskapsgraf. Alle tilnærmingene brukte den samme modellen.
Mer nøyaktig på hver innstilling, til en sjuendedel av kostnaden.
94.1 til 94.8%Nøyaktigheten til Duplex, på hver av åtte innstillingerDet beste en cache nådde: 77.3%- 84 til 91% På tre nye kjøringer med 1,000 beslutninger · Det beste en cache nådde: rundt 73%
En strøm med 3,000 beslutninger der hver tilnærming ble kjørt over hele spekteret av innstillinger, deretter tre nye kjøringer med 1,000 beslutninger i et andre, uavhengig oppsett.
Fortsetter å lære uten å glemme, bli utdatert eller vokse.
5 / 5Krav for læring i produksjon, alle oppfylt i hver kjøringCache og gjenfinning i snitt 2.2 / 5 · fortløpende finjustering 4 / 5- 0% Utdaterte svar etter en policyendring · Cache og gjenfinning 72%
- Konstant Fotavtrykk over tid · Cache og gjenfinning vokste til ≈1,300 rader
Ti kjøringer, med den samme veiledningen og de samme inndataene for alle tilnærminger.
Håndterer nye formuleringer, og oppdager dobbeltgjengerne.
7.5%Gale svar på dobbeltgjengereEn cache 45.3%, rundt 6× mer- 98.98% Av forespørslene håndtert riktig: besvart riktig, eller gitt til KI-en din · Duplex besvarte 95.78% av kjente forespørsler selv
- 0.996 Poengsum for å skille kjent fra nytt, av 1 · En cache 0.930
Ti lærte intensjoner og seks nivåer av nyhet, fra nøyaktige gjentakelser til forespørsler fra et annet domene, over ti kjøringer.
Planlegger den korteste veien, med null modelltokens.
100%Vellykkede planer, i hver kjøringEn reaktiv agent: 0% · Duplex brukte ingen modelltokens- 0% En reaktiv grådig agent
- ~204 Tokens per beslutning en ledende modell bruker for å gjøre det like godt
En verden med flere steg over ti kjøringer, mot en reaktiv agent og en ledende modell som fikk den samme oppgaven.
Sørger for at agentoppgaver fortsatt lykkes, med færre modellkall.
83.3%Løste oppgaverModellen på hver tur: 82.5%- 12.8% Turer fullført uten modellen · ≈15% færre modellkall
- 100% Suksess på nye oppgaver
Τ-bench (tau2-bench), detaljhandel, av Sierra Research. Det uendrede detaljhandelsmiljøet, med samme modell, verktøy og brukersimulator for alle tilnærminger, over tre kjøringer med førti episoder.
En jevn lesekostnad, uansett hvor lang historikken er.
96%Gjeldende svar der et faktum hadde endret segDet nye faktumet, ikke det gamle- 3.7× Mindre lesing per spørsmål enn å lese hele historikken · Ved førti økters historikk
- 84% Nøyaktighet ved førti økters historikk
LongMemEval, av Wu et al., ICLR 2025. Femti spørsmål, hvert stilt med historikken på 2, 5, 10, 20 og 40 økter.
Blokkerer hvert angrep, og slipper vanlig arbeid gjennom.
0%Vellykkede angrepPå tvers av seks familier av omformulerte angrep- 0.7% Feilaktige avslag · Det laveste av alle tilnærminger som stoppet hvert angrep
- 40 / 40 Forgiftede prøver fjernet · Nøyaktighet igjen innen 1 poeng
Seks angrepsfamilier, omformulert, med harmløse forespørsler skrevet for å ligne angrepene.
Lærer en ny ferdighet på egen hånd, med modellen slått av.
100%Oppgaver fullført med modellen av, i hver kjøringEn ledende modell trengte ≈507 kall per kjøring- 0.26 ms Å gjenbruke en ferdighet · Med 0 modellkall
- 627 Utrygge handlinger avvist per kjøring · Og den trygge ferdigheten ble likevel lært
Fire testsett over ti kjøringer, hvert vurdert etter sin dårligste kjøring.
Slo tre ledende modeller i å forutsi systemendringer.
0.256Poengsum for å forutsi systemendringerGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204- $0 Modellkostnad · 570 prediksjoner med null kall; 84 på en ledende modell kostet $13.40
- ~80% Beslutninger besvart ut fra det den har lært · KI-en din tok resten
World of Workflows, av Skyfall Research / ServiceNow. Tre frakoblede spor, vurdert av benchmarkforfatternes egen evaluator, over tre kjøringer.
Slår finjustering, uten treningskjøring.
6 / 6Tester der Duplex slo en finjustert adapter+30.3 poeng i snitt- 0 Omtrening for å flytte til en annen modellfamilie · Adapterne lot seg flytte i 0 av 6
- 60 til 79% Besvart ut fra det den har lært · På begge modellfamiliene
Tre offentlige intensjonsdatasett, to åpne modellfamilier og tre kjøringer, med samme frosne modell og data for alle tilnærminger.
Se det på ditt eget arbeid.
Fra din egen assistent til hver agent bedriften din kjører, setter en pilot Duplex på ditt eget arbeid, med måltallene avtalt før den starter.