El historial se duplica. La lectura se estabiliza.
Paso 1 de 4: El historial
Un coste de lectura estable, por largo que sea el historial.
LongMemEval hace preguntas sobre historiales de chat largos entre una persona y un asistente. A medida que el historial creció hasta cuarenta sesiones, la lectura necesaria para cada respuesta de Duplex se estabilizó, y cuando un dato había cambiado, respondió con el actual.
LongMemEval, de Wu et al., ICLR 2025. El benchmark →
- 96%Respuestas actualizadas cuando un dato había cambiadoEl dato nuevo, no el antiguo
- 3.7×Menos lectura por pregunta que leer todo el historialCon cuarenta sesiones de historial
- 84%Precisión con cuarenta sesiones de historial
3.7× menos lectura por respuesta.
Con cuarenta sesiones de historial, frente a enviar todo el historial al modelo.
Paso 1 de 3: Lectura
Duplex envió 24,176 tokens por pregunta. Enviar todo el historial suponía 88,798.
Responde con el dato tal como está ahora.
Cuando un dato cambió a mitad del historial, Duplex dio la respuesta actual el 96% de las veces.
- Razonamiento temporal: 90% de aciertos.
- Razonamiento entre varias sesiones: 89% de aciertos.
Paso 1 de 4: Declarado
Al principio del historial, se afirma un dato: el equipo usa el proveedor A.
Cómo se realizó.
- Benchmark
- LongMemEval, de Wu et al. (ICLR 2025), a partir de la versión pública depurada.
- El trabajo
- Responder a una pregunta sobre un historial de chat largo entre una persona y un asistente.
- Historiales
- Las sesiones que contienen la respuesta, mezcladas con sesiones no relacionadas de un conjunto de 19,195, con 2, 5, 10, 20 y 40 sesiones.
- Escala
- 50 preguntas con cinco tamaños de historial: 250 respuestas para cada enfoque.
- Modelos
- GPT-5.5 leyó lo que aportó cada enfoque y redactó todas las respuestas; un modelo distinto las evaluó.
Qué significa para tu trabajo.
El trabajo de larga duración sigue siendo asequible.
De veinte a cuarenta sesiones el historial se duplicó, y el coste de cada respuesta se mantuvo en $0.032.
Las respuestas siguen lo que cambió.
Cuando un dato había cambiado, Duplex respondió con el actual el 96% de las veces.
Responde, en lugar de abstenerse.
Duplex rechazó 5 de las 250 preguntas, y respondió el resto.
Compruébalo con tu propio trabajo.
De tu propio asistente a cada agente que ejecuta tu empresa, un piloto pone Duplex en tu propio trabajo, con las métricas acordadas antes de empezar.