De geschiedenis verdubbelt. Het leeswerk vlakt af.
Stap 1 van 4: De geschiedenis
Stabiele leeskosten, hoe lang de geschiedenis ook is.
LongMemEval stelt vragen over lange chatgeschiedenissen tussen een persoon en een assistent. Toen de geschiedenis groeide tot veertig sessies, vlakte het leeswerk achter elk antwoord van Duplex af, en waar een feit was veranderd, antwoordde het met het actuele feit.
LongMemEval, van Wu et al., ICLR 2025. De benchmark →
- 96%Actuele antwoorden waar een feit was veranderdHet nieuwe feit, niet het oude
- 3.7×Minder leeswerk per vraag dan de hele geschiedenis lezenBij een geschiedenis van veertig sessies
- 84%Nauwkeurigheid bij een geschiedenis van veertig sessies
3.7× minder leeswerk per antwoord.
Bij een geschiedenis van veertig sessies, vergeleken met de hele geschiedenis naar het model sturen.
Stap 1 van 3: Leeswerk
Duplex stuurde 24,176 tokens per vraag. De hele geschiedenis sturen betekende er 88,798.
Het antwoordt met het feit zoals het nu is.
Waar een feit halverwege de geschiedenis veranderde, gaf Duplex in 96% van de gevallen het actuele antwoord.
- Redeneren over tijd: 90% correct.
- Redeneren over meerdere sessies: 89% correct.
Stap 1 van 4: Vermeld
Vroeg in de geschiedenis staat een feit: het team zit bij aanbieder A.
Hoe het is uitgevoerd.
- Benchmark
- LongMemEval, van Wu et al. (ICLR 2025), uit de opgeschoonde openbare release.
- Het werk
- Beantwoord een vraag over een lange chatgeschiedenis tussen een persoon en een assistent.
- Geschiedenissen
- De sessies met het antwoord, gemengd met niet-gerelateerde sessies uit een pool van 19,195, bij 2, 5, 10, 20 en 40 sessies.
- Omvang
- 50 vragen bij vijf lengtes van de geschiedenis: 250 antwoorden voor elke aanpak.
- Modellen
- GPT-5.5 las wat elke aanpak aanleverde en schreef elk antwoord; een apart model beoordeelde ze.
Wat het betekent voor je werk.
Langlopend werk blijft betaalbaar.
Van twintig naar veertig sessies verdubbelde de geschiedenis, en de kosten per antwoord bleven $0.032.
Antwoorden volgen wat er veranderde.
Waar een feit was veranderd, antwoordde Duplex in 96% van de gevallen met het actuele feit.
Het antwoordt, in plaats van zich in te houden.
Duplex sloeg 5 van de 250 vragen af, en beantwoordde de rest.
Zie het in je eigen werk.
Van je eigen assistent tot elke agent die je bedrijf draait: een pilot zet Duplex in op je eigen werk, met vooraf afgesproken maatstaven.