Historikken dobles. Lesingen flater ut.
Steg 1 av 4: Historikken
En jevn lesekostnad, uansett hvor lang historikken er.
LongMemEval stiller spørsmål om lange chathistorikker mellom en person og en assistent. Da historikken vokste til førti økter, flatet lesingen bak hvert svar fra Duplex ut, og der et faktum hadde endret seg, svarte den med det gjeldende.
LongMemEval, av Wu et al., ICLR 2025. Benchmarken →
- 96%Gjeldende svar der et faktum hadde endret segDet nye faktumet, ikke det gamle
- 3.7×Mindre lesing per spørsmål enn å lese hele historikkenVed førti økters historikk
- 84%Nøyaktighet ved førti økters historikk
3.7× mindre lesing for hvert svar.
Ved førti økters historikk, sammenlignet med å sende hele historikken til modellen.
Steg 1 av 3: Lesing
Duplex sendte 24,176 tokener per spørsmål. Å sende hele historikken betydde 88,798.
Den svarer med faktum slik det står nå.
Der et faktum endret seg underveis i historikken, ga Duplex det gjeldende svaret i 96% av tilfellene.
- Tidsmessig resonnering: 90% riktig.
- Resonnering på tvers av flere økter: 89% riktig.
Steg 1 av 4: Oppgitt
Tidlig i historikken oppgis et faktum: teamet bruker leverandør A.
Slik ble det kjørt.
- Benchmark
- LongMemEval, av Wu et al. (ICLR 2025), fra den rensede offentlige utgivelsen.
- Arbeidet
- Svar på et spørsmål om en lang chathistorikk mellom en person og en assistent.
- Historikker
- Øktene som inneholder svaret, blandet med urelaterte økter fra en samling på 19,195, ved 2, 5, 10, 20 og 40 økter.
- Omfang
- 50 spørsmål ved fem historikkstørrelser: 250 svar for hver tilnærming.
- Modeller
- GPT-5.5 leste det hver tilnærming leverte, og skrev hvert svar; en egen modell vurderte dem.
Hva det betyr for arbeidet ditt.
Langvarig arbeid forblir rimelig.
Fra tjue til førti økter ble historikken doblet, og kostnaden per svar holdt seg på $0.032.
Svarene følger det som endret seg.
Der et faktum hadde endret seg, svarte Duplex med det gjeldende i 96% av tilfellene.
Den svarer, i stedet for å holde tilbake.
Duplex avviste 5 av de 250 spørsmålene, og besvarte resten.
Se det på ditt eget arbeid.
Fra din egen assistent til hver agent bedriften din kjører, setter en pilot Duplex på ditt eget arbeid, med måltallene avtalt før den starter.