Historia się podwaja. Czytanie przestaje rosnąć.
Krok 1 z 4: Historia
Stały koszt czytania, niezależnie od długości historii.
LongMemEval zadaje pytania o długie historie czatów między człowiekiem a asystentem. Gdy historia urosła do czterdziestu sesji, ilość czytania stojąca za każdą odpowiedzią Duplex przestała rosnąć, a tam, gdzie fakt się zmienił, odpowiadał aktualnym.
LongMemEval, autorstwa Wu i in., ICLR 2025. Benchmark →
- 96%Aktualne odpowiedzi tam, gdzie fakt się zmieniłNowy fakt, nie stary
- 3.7×Mniej czytania na pytanie niż przy czytaniu całej historiiPrzy czterdziestu sesjach historii
- 84%Dokładność przy czterdziestu sesjach historii
3.7× mniej czytania na każdą odpowiedź.
Przy czterdziestu sesjach historii, w porównaniu z wysyłaniem całej historii do modelu.
Krok 1 z 3: Czytanie
Duplex wysyłał 24,176 tokenów na pytanie. Wysyłanie całej historii oznaczało 88,798.
Odpowiada faktem w jego obecnym stanie.
Tam, gdzie fakt zmienił się w trakcie historii, Duplex podawał aktualną odpowiedź w 96% przypadków.
- Rozumowanie czasowe: 90% poprawnych.
- Rozumowanie obejmujące kilka sesji: 89% poprawnych.
Krok 1 z 4: Podany
Na początku historii pada fakt: zespół korzysta z dostawcy A.
Jak go przeprowadzono.
- Benchmark
- LongMemEval, autorstwa Wu i in. (ICLR 2025), z oczyszczonej wersji publicznej.
- Praca
- Odpowiedz na pytanie o długą historię czatu między człowiekiem a asystentem.
- Historie
- Sesje zawierające odpowiedź, wymieszane z niepowiązanymi sesjami z puli 19,195, przy 2, 5, 10, 20 i 40 sesjach.
- Skala
- 50 pytań przy pięciu rozmiarach historii: 250 odpowiedzi dla każdego podejścia.
- Modele
- GPT-5.5 czytał to, co dostarczyło każde podejście, i pisał każdą odpowiedź; oceniał je osobny model.
Co to oznacza dla twojej pracy.
Długotrwała praca pozostaje przystępna cenowo.
Od dwudziestu do czterdziestu sesji historia się podwoiła, a koszt każdej odpowiedzi pozostał na poziomie $0.032.
Odpowiedzi nadążają za zmianami.
Tam, gdzie fakt się zmienił, Duplex odpowiadał aktualnym w 96% przypadków.
Odpowiada, zamiast się wstrzymywać.
Duplex odmówił odpowiedzi na 5 z 250 pytań, a na resztę odpowiedział.
Zobacz to na własnej pracy.
Od twojego własnego asystenta po każdego agenta, którego uruchamia twoja firma: pilotaż uruchamia Duplex na twojej własnej pracy, ze wskaźnikami uzgodnionymi przed startem.