Historiken fördubblas. Läsningen planar ut.
Steg 1 av 4: Historiken
En jämn läskostnad, hur lång historiken än är.
LongMemEval ställer frågor om långa chatthistoriker mellan en person och en assistent. När historiken växte till fyrtio sessioner planade läsningen bakom vart och ett av svaren från Duplex ut, och där ett faktum hade ändrats svarade den med det aktuella.
LongMemEval, av Wu et al., ICLR 2025. Benchmarktestet →
- 96%Aktuella svar där ett faktum hade ändratsDet nya faktumet, inte det gamla
- 3.7×Mindre läsning per fråga än att läsa hela historikenVid fyrtio sessioners historik
- 84%Träffsäkerhet vid fyrtio sessioners historik
3.7× mindre läsning för varje svar.
Vid fyrtio sessioners historik, jämfört med att skicka hela historiken till modellen.
Steg 1 av 3: Läsning
Duplex skickade 24,176 tokens per fråga. Att skicka hela historiken innebar 88,798.
Den svarar med faktumet så som det ser ut nu.
Där ett faktum ändrades under historikens gång gav Duplex det aktuella svaret i 96% av fallen.
- Tidsresonemang: 90% rätt.
- Resonemang över flera sessioner: 89% rätt.
Steg 1 av 4: Angivet
Tidigt i historiken anges ett faktum: teamet använder leverantör A.
Så genomfördes det.
- Benchmark
- LongMemEval, av Wu et al. (ICLR 2025), från den rensade offentliga versionen.
- Arbetet
- Besvara en fråga om en lång chatthistorik mellan en person och en assistent.
- Historiker
- Sessionerna som innehåller svaret, blandade med orelaterade sessioner från en pool med 19,195, vid 2, 5, 10, 20 och 40 sessioner.
- Omfattning
- 50 frågor vid fem historikstorlekar: 250 svar för varje metod.
- Modeller
- GPT-5.5 läste det som varje metod tillhandahöll och skrev varje svar; en separat modell bedömde dem.
Vad det betyder för ditt arbete.
Långvarigt arbete förblir prisvärt.
Från tjugo till fyrtio sessioner fördubblades historiken, och kostnaden för varje svar låg kvar på $0.032.
Svaren följer det som ändrades.
Där ett faktum hade ändrats svarade Duplex med det aktuella i 96% av fallen.
Den svarar, i stället för att avstå.
Duplex avböjde 5 av de 250 frågorna, och besvarade resten.
Se det i ditt eget arbete.
Från din egen assistent till varje agent ditt företag kör sätter en pilot Duplex på ditt eget arbete, med mätetal som avtalas innan den börjar.