Agentoppgaver lykkes fortsatt, med færre modellkall.
Τ-bench setter en KI-agent i kundeservicen til en butikk, med butikkens egne verktøy, den skriftlige policyen og kunder som ombestemmer seg. Duplex jobbet ved siden av agentmodellen på hver tur i hver samtale.
Τ-bench, av Sierra Research. Benchmarken →
- 83.3%Løste oppgaverModellen på hver tur: 82.5%
- 12.8%Turer fullført uten modellen≈15% færre modellkall
- 100%Suksess på nye oppgaver
Én samtale, tur for tur.
Steg 1 av 6: En kunde
Like vellykket som å kalle modellen i hver tur.
Andel vellykkede oppgaver over 120 samtaler, og på oppgavene agenten aldri hadde sett før.
Steg 1 av 2: Hver oppgave
Duplex fullførte 83.3% av oppgavene. Modellen på hver tur fullførte 82.5%.
Den hopper over et kall bare i turer den har lært.
Per 100 turer, hvem som fullførte hver av dem, og om oppgaven likevel lyktes.
Steg 1 av 3: Hver tur
Med modellen på hver tur er hver tur et kall, og 82.5% av oppgavene lykkes.
Færre kall og fullførte oppgaver, samtidig.
Turer fullført uten modellen, mot andel vellykkede oppgaver, for hver tilnærming i testen.
Steg 1 av 3: Hvert kall
Fire tilnærminger kaller modellen på hver tur; suksessen deres varierer fra 83.3% til 0.8%.
Slik ble det kjørt.
- Benchmark
- Τ-bench (tau2-bench 1.0), detaljhandel, fra Sierra Research: offentlig og med åpen kildekode.
- Arbeidet
- Samtaler over flere turer med simulerte kunder i en butikk, med butikkens egne verktøy under dens skriftlige policy.
- Omfang
- Tre kjøringer med førti samtaler for hver tilnærming.
- Modeller
- GPT-5.5 som agent for alle tilnærminger; GPT-4.1-mini spilte kunden.
- Sammenlignet med
- Modellen på hver tur, et minnelag, gjenfinning, en semantisk cache og kontekst fra en kunnskapsgraf.
- Holdt likt
- De samme verktøyene, samme policy, kunde og agentmodell for alle tilnærminger; Duplex kjørte som tjenesten i drift.
Hva det betyr for arbeidet ditt.
Agentene dine fortsetter å fullføre jobben.
Andelen vellykkede oppgaver var like høy som for modellen på hver tur, mens Duplex fullførte turene den hadde lært.
Nytt arbeid blir fortsatt gjort.
Duplex fullførte hver nye oppgave i testen: det den ikke har lært, går til modellen din.
Besparelser som lar samtalene være hele.
Duplex hopper over et kall bare i en tur den har lært. En cache spilte av lagrede svar midt i samtalen og fullførte 8.3% av oppgavene.
Se det på ditt eget arbeid.
Fra din egen assistent til hver agent bedriften din kjører, setter en pilot Duplex på ditt eget arbeid, med måltallene avtalt før den starter.