L’historique double. La lecture se stabilise.
Étape 1 sur 4 : L’historique
Un coût de lecture stable, quelle que soit la longueur de l’historique.
LongMemEval pose des questions sur de longs historiques de conversation entre une personne et un assistant. À mesure que l’historique s’allongeait jusqu’à quarante sessions, la lecture derrière chaque réponse de Duplex s’est stabilisée, et là où un fait avait changé, il a répondu avec le fait actuel.
LongMemEval, par Wu et al., ICLR 2025. Le benchmark →
- 96%Réponses à jour là où un fait avait changéLe nouveau fait, pas l’ancien
- 3.7×Moins de lecture par question qu’en lisant tout l’historiqueÀ quarante sessions d’historique
- 84%Précision à quarante sessions d’historique
3.7× moins de lecture pour chaque réponse.
À quarante sessions d’historique, par rapport à l’envoi de tout l’historique au modèle.
Étape 1 sur 3 : Lecture
Duplex a envoyé 24,176 tokens par question. Envoyer tout l’historique, c’était 88,798.
Il répond avec le fait tel qu’il est aujourd’hui.
Là où un fait a changé en cours d’historique, Duplex a donné la réponse actuelle dans 96% des cas.
- Raisonnement temporel : 90% de réponses justes.
- Raisonnement sur plusieurs sessions : 89% de réponses justes.
Étape 1 sur 4 : Énoncé
Tôt dans l’historique, un fait est énoncé : l’équipe utilise le fournisseur A.
Comment il a été mené.
- Benchmark
- LongMemEval, par Wu et al. (ICLR 2025), à partir de la version publique nettoyée.
- Le travail
- Répondre à une question sur un long historique de conversation entre une personne et un assistant.
- Historiques
- Les sessions contenant la réponse, mêlées à des sessions sans rapport tirées d’un ensemble de 19,195, à 2, 5, 10, 20 et 40 sessions.
- Échelle
- 50 questions à cinq tailles d’historique : 250 réponses pour chaque approche.
- Modèles
- GPT-5.5 a lu ce que chaque approche fournissait et a rédigé chaque réponse ; un modèle distinct les a jugées.
Ce que cela signifie pour votre travail.
Le travail au long cours reste abordable.
De vingt à quarante sessions, l’historique a doublé, et le coût de chaque réponse est resté à $0.032.
Les réponses suivent ce qui a changé.
Là où un fait avait changé, Duplex a répondu avec le fait actuel dans 96% des cas.
Il répond, plutôt que de s’abstenir.
Duplex a refusé de répondre à 5 des 250 questions, et a répondu aux autres.
Voyez-le sur votre propre travail.
De votre propre assistant à chaque agent qu’exploite votre entreprise, un pilote fait tourner Duplex sur votre propre travail, avec des indicateurs convenus avant son lancement.