Der Verlauf verdoppelt sich. Die Lesemenge pendelt sich ein.
Schritt 1 von 4: Der Verlauf
Gleichbleibende Lesekosten, egal wie lang der Verlauf ist.
LongMemEval stellt Fragen zu langen Chatverläufen zwischen einer Person und einem Assistenten. Als der Verlauf auf vierzig Sitzungen wuchs, pendelte sich die Lesemenge hinter jeder Antwort von Duplex ein, und wo sich ein Fakt geändert hatte, antwortete es mit dem aktuellen.
LongMemEval, von Wu et al., ICLR 2025. Der Benchmark →
- 96%Aktuelle Antworten, wo sich ein Fakt geändert hatteDer neue Fakt, nicht der alte
- 3.7×Weniger Lesemenge pro Frage, als wenn der ganze Verlauf gelesen wirdBei vierzig Sitzungen Verlauf
- 84%Genauigkeit bei vierzig Sitzungen Verlauf
3.7× weniger Lesemenge pro Antwort.
Bei vierzig Sitzungen Verlauf, verglichen damit, den ganzen Verlauf an das Modell zu senden.
Schritt 1 von 3: Lesen
Duplex schickte 24,176 Tokens je Frage. Den ganzen Verlauf zu schicken hieß 88,798.
Es antwortet mit dem Fakt, wie er heute gilt.
Wo sich ein Fakt mitten im Verlauf geändert hatte, gab Duplex in 96% der Fälle die aktuelle Antwort.
- Zeitliches Schlussfolgern: 90% richtig.
- Schlussfolgern über mehrere Sitzungen: 89% richtig.
Schritt 1 von 4: Genannt
Früh im Verlauf wird ein Fakt genannt: Das Team nutzt Anbieter A.
Wie es durchgeführt wurde.
- Benchmark
- LongMemEval, von Wu et al. (ICLR 2025), aus der bereinigten öffentlichen Version.
- Die Arbeit
- Eine Frage zu einem langen Chatverlauf zwischen einer Person und einem Assistenten beantworten.
- Verläufe
- Die Sitzungen mit der Antwort, gemischt mit fremden Sitzungen aus einem Pool von 19,195, bei 2, 5, 10, 20 und 40 Sitzungen.
- Umfang
- 50 Fragen bei fünf Verlaufsgrößen: 250 Antworten für jeden Ansatz.
- Modelle
- GPT-5.5 las, was jeder Ansatz lieferte, und schrieb jede Antwort; ein separates Modell bewertete sie.
Was es für deine Arbeit bedeutet.
Lang laufende Arbeit bleibt bezahlbar.
Von zwanzig auf vierzig Sitzungen verdoppelte sich der Verlauf, und die Kosten jeder Antwort blieben bei $0.032.
Antworten folgen dem, was sich geändert hat.
Wo sich ein Fakt geändert hatte, antwortete Duplex in 96% der Fälle mit dem aktuellen.
Es antwortet, statt sich zurückzuhalten.
Duplex lehnte 5 der 250 Fragen ab und beantwortete den Rest.
Erlebe es mit deiner eigenen Arbeit.
Vom eigenen Assistenten bis zu jedem Agenten, den dein Unternehmen betreibt: Ein Pilotprojekt lässt Duplex mit deiner eigenen Arbeit laufen, und die Kennzahlen werden vereinbart, bevor es beginnt.