La cronologia raddoppia. La lettura si stabilizza.
Passaggio 1 su 4: Lo storico
Un costo di lettura stabile, per quanto lunga sia la cronologia.
LongMemEval pone domande su lunghe cronologie di chat tra una persona e un assistente. Man mano che la cronologia cresceva fino a quaranta sessioni, la lettura dietro ogni risposta di Duplex si è stabilizzata, e dove un fatto era cambiato, ha risposto con quello attuale.
LongMemEval, di Wu et al., ICLR 2025. Il benchmark →
- 96%Risposte aggiornate dove un fatto era cambiatoIl fatto nuovo, non quello vecchio
- 3.7×Meno lettura per domanda rispetto a leggere l’intera cronologiaCon quaranta sessioni di cronologia
- 84%Accuratezza con quaranta sessioni di cronologia
3.7× meno lettura per ogni risposta.
Con quaranta sessioni di cronologia, rispetto a inviare al modello l’intera cronologia.
Passaggio 1 su 3: Lettura
Duplex ha inviato 24,176 token per domanda. Inviare tutto lo storico significava 88,798.
Risponde con il fatto com’è adesso.
Dove un fatto è cambiato a metà della cronologia, Duplex ha dato la risposta attuale nel 96% dei casi.
- Ragionamento temporale: corretto al 90%.
- Ragionamento su più sessioni: corretto all’89%.
Passaggio 1 su 4: Dichiarato
All’inizio dello storico si dichiara un fatto: il team usa il fornitore A.
Come è stato condotto.
- Benchmark
- LongMemEval, di Wu et al. (ICLR 2025), dalla versione pubblica ripulita.
- Il lavoro
- Rispondere a una domanda su una lunga cronologia di chat tra una persona e un assistente.
- Cronologie
- Le sessioni che contengono la risposta, mescolate a sessioni non correlate prese da un insieme di 19,195, a 2, 5, 10, 20 e 40 sessioni.
- Scala
- 50 domande con cinque dimensioni di cronologia: 250 risposte per ogni approccio.
- Modelli
- GPT-5.5 ha letto ciò che ogni approccio forniva e ha scritto ogni risposta; un modello separato le ha giudicate.
Cosa significa per il tuo lavoro.
Il lavoro di lunga durata resta conveniente.
Da venti a quaranta sessioni la cronologia è raddoppiata, e il costo di ogni risposta è rimasto a $0.032.
Le risposte seguono ciò che è cambiato.
Dove un fatto era cambiato, Duplex ha risposto con quello attuale nel 96% dei casi.
Risponde, invece di tirarsi indietro.
Duplex ha rifiutato 5 delle 250 domande, e ha risposto alle altre.
Vedilo all’opera sul tuo lavoro.
Dal tuo assistente a ogni agente che fa girare la tua azienda, un progetto pilota fa girare Duplex sul tuo lavoro, con le metriche concordate prima di iniziare.