O histórico duplica. A leitura estabiliza.
Passo 1 de 4: O histórico
Um custo de leitura estável, por mais longo que seja o histórico.
O LongMemEval faz perguntas sobre longos históricos de chat entre uma pessoa e um assistente. À medida que o histórico cresceu até quarenta sessões, a leitura por trás de cada resposta do Duplex estabilizou, e onde um facto tinha mudado, respondeu com o atual.
LongMemEval, de Wu et al., ICLR 2025. O benchmark →
- 96%Respostas atuais onde um facto tinha mudadoO facto novo, não o antigo
- 3.7×Menos leitura por pergunta do que ler o histórico inteiroCom quarenta sessões de histórico
- 84%Precisão com quarenta sessões de histórico
3.7× menos leitura por resposta.
Com quarenta sessões de histórico, face a enviar o histórico inteiro para o modelo.
Passo 1 de 3: Leitura
O Duplex enviou 24,176 tokens por pergunta. Enviar o histórico inteiro significava 88,798.
Responde com o facto tal como está agora.
Onde um facto mudou a meio do histórico, o Duplex deu a resposta atual 96% das vezes.
- Raciocínio temporal: 90% de respostas certas.
- Raciocínio entre várias sessões: 89% de respostas certas.
Passo 1 de 4: Declarado
No início do histórico, é declarado um facto: a equipa usa o fornecedor A.
Como foi feito.
- Benchmark
- LongMemEval, de Wu et al. (ICLR 2025), a partir da versão pública depurada.
- O trabalho
- Responder a uma pergunta sobre um longo histórico de chat entre uma pessoa e um assistente.
- Históricos
- As sessões que contêm a resposta, misturadas com sessões não relacionadas de um conjunto de 19,195, com 2, 5, 10, 20 e 40 sessões.
- Escala
- 50 perguntas com cinco tamanhos de histórico: 250 respostas para cada abordagem.
- Modelos
- O GPT-5.5 leu o que cada abordagem forneceu e escreveu todas as respostas; um modelo separado avaliou-as.
O que significa para o seu trabalho.
O trabalho de longa duração continua acessível.
De vinte para quarenta sessões, o histórico duplicou, e o custo de cada resposta ficou nos $0.032.
As respostas acompanham o que mudou.
Onde um facto tinha mudado, o Duplex respondeu com o atual 96% das vezes.
Responde, em vez de se retrair.
O Duplex recusou 5 das 250 perguntas, e respondeu às restantes.
Veja-o no seu próprio trabalho.
Do seu próprio assistente a cada agente que a sua empresa opera, um piloto põe o Duplex no seu próprio trabalho, com as métricas acordadas antes de começar.