Historie se zdvojnásobí. Čtení se ustálí.
Krok 1 z 4: Historie
Stálé náklady na čtení, ať je historie jakkoli dlouhá.
LongMemEval klade otázky o dlouhých historiích chatu mezi člověkem a asistentem. Jak historie rostla na čtyřicet relací, objem čtení za každou odpovědí Duplexu se ustálil, a kde se nějaký fakt změnil, odpověděl tím aktuálním.
LongMemEval, od Wu a kol., ICLR 2025. Benchmark →
- 96%Aktuální odpovědi tam, kde se fakt změnilNový fakt, ne ten starý
- 3.7×Méně čtení na otázku než při čtení celé historiePři čtyřiceti relacích historie
- 84%Přesnost při čtyřiceti relacích historie
3.7× méně čtení na každou odpověď.
Při čtyřiceti relacích historie, v porovnání s odesláním celé historie modelu.
Krok 1 z 3: Čtení
Duplex poslal 24,176 tokenů na otázku. Poslat celou historii znamenalo 88,798.
Odpovídá faktem tak, jak platí teď.
Kde se fakt v průběhu historie změnil, dal Duplex aktuální odpověď v 96% případů.
- Časové uvažování: 90% správně.
- Uvažování napříč několika relacemi: 89% správně.
Krok 1 z 4: Uvedeno
Na začátku historie zazní fakt: tým používá dodavatele A.
Jak byl proveden.
- Benchmark
- LongMemEval od autorů Wu a kol. (ICLR 2025), z vyčištěné veřejné verze.
- Práce
- Odpovědět na otázku o dlouhé historii chatu mezi člověkem a asistentem.
- Historie
- Relace, které obsahují odpověď, smíchané s nesouvisejícími relacemi ze souboru 19,195, při 2, 5, 10, 20 a 40 relacích.
- Rozsah
- 50 otázek při pěti velikostech historie: 250 odpovědí pro každý přístup.
- Modely
- GPT-5.5 četl, co mu každý přístup dodal, a napsal každou odpověď; hodnotil je samostatný model.
Co to znamená pro vaši práci.
Dlouhodobá práce zůstává cenově dostupná.
Mezi dvaceti a čtyřiceti relacemi se historie zdvojnásobila a náklady na každou odpověď zůstaly na $0.032.
Odpovědi se řídí tím, co se změnilo.
Kde se fakt změnil, odpověděl Duplex v 96% případů tím aktuálním.
Odpovídá, místo aby se odpovědi zdržel.
Duplex odmítl 5 z 250 otázek a na zbytek odpověděl.
Ověřte si to na vlastní práci.
Od vašeho vlastního asistenta po každého agenta, kterého vaše firma provozuje: v pilotním projektu běží Duplex na vaší vlastní práci, s měřítky dohodnutými před začátkem.