Historikken fordobles. Læsningen flader ud.
Trin 1 af 4: Historikken
En stabil læseomkostning, uanset hvor lang historikken er.
LongMemEval stiller spørgsmål om lange chathistorikker mellem en person og en assistent. Da historikken voksede til fyrre sessioner, fladede læsningen bag hvert svar fra Duplex ud, og hvor en kendsgerning havde ændret sig, svarede den med den aktuelle.
LongMemEval, af Wu et al., ICLR 2025. Benchmarken →
- 96%Aktuelle svar, hvor en kendsgerning havde ændret sigDen nye kendsgerning, ikke den gamle
- 3.7×Mindre læsning pr. Spørgsmål end at læse hele historikkenVed fyrre sessioners historik
- 84%Nøjagtighed ved fyrre sessioners historik
3.7× mindre læsning for hvert svar.
Ved fyrre sessioners historik, sammenlignet med at sende hele historikken til modellen.
Trin 1 af 3: Læsning
Duplex sendte 24,176 tokens pr. Spørgsmål. At sende hele historikken betød 88,798.
Den svarer med kendsgerningen, som den er nu.
Hvor en kendsgerning ændrede sig undervejs i historikken, gav Duplex det aktuelle svar i 96% af tilfældene.
- Tidsmæssig ræsonnering: 90% korrekt.
- Ræsonnering på tværs af flere sessioner: 89% korrekt.
Trin 1 af 4: Angivet
Tidligt i historikken angives et faktum: teamet bruger leverandør A.
Sådan blev det kørt.
- Benchmark
- LongMemEval, af Wu et al. (ICLR 2025), fra den rensede offentlige udgivelse.
- Arbejdet
- Besvar et spørgsmål om en lang chathistorik mellem en person og en assistent.
- Historikker
- De sessioner, der indeholder svaret, blandet med urelaterede sessioner fra en pulje på 19,195, ved 2, 5, 10, 20 og 40 sessioner.
- Omfang
- 50 spørgsmål ved fem historikstørrelser: 250 svar for hver tilgang.
- Modeller
- GPT-5.5 læste det, hver tilgang leverede, og skrev hvert svar; en separat model bedømte dem.
Hvad det betyder for dit arbejde.
Langvarigt arbejde forbliver overkommeligt i pris.
Fra tyve til fyrre sessioner fordobledes historikken, og omkostningen for hvert svar forblev $0.032.
Svarene følger det, der ændrede sig.
Hvor en kendsgerning havde ændret sig, svarede Duplex med den aktuelle i 96% af tilfældene.
Den svarer i stedet for at holde sig tilbage.
Duplex afviste 5 af de 250 spørgsmål og besvarede resten.
Se det på dit eget arbejde.
Fra din egen assistent til hver agent, din virksomhed kører, sætter et pilotprojekt Duplex på dit eget arbejde, med målepunkterne aftalt, før det går i gang.