Agentopgaver lykkes fortsat, med færre modelkald.
Τ-bench sætter en AI-agent i en butiks kundeservice med butikkens egne værktøjer, dens skrevne politik og kunder, der skifter mening. Duplex arbejdede ved siden af agentens model i hver tur af hver samtale.
Τ-bench, af Sierra Research. Benchmarken →
- 83.3%OpgavesuccesModellen i hver tur: 82.5%
- 12.8%Ture fuldført uden modellen≈15% færre modelkald
- 100%Succes på nye opgaver
Én samtale, tur for tur.
Trin 1 af 6: En kunde
Lige så vellykket som at kalde modellen på hver tur.
Opgavesucces over 120 samtaler og på de opgaver, agenten aldrig havde set før.
Trin 1 af 2: Hver opgave
Duplex fuldførte 83.3% af opgaverne. Modellen på hver tur fuldførte 82.5%.
Den springer kun et kald over på ture, den har lært.
Af hver 100 ture, hvem der gennemførte hver enkelt, og om opgaven stadig lykkedes.
Trin 1 af 3: Hver tur
Med modellen på hver tur er hver tur et kald, og 82.5% af opgaverne lykkes.
Færre kald og fuldførte opgaver, på samme tid.
Ture fuldført uden modellen, holdt op mod opgavesucces, for hver tilgang i testen.
Trin 1 af 3: Hvert kald
Fire tilgange kalder modellen på hver tur; deres succes spænder fra 83.3% til 0.8%.
Sådan blev det kørt.
- Benchmark
- Τ-bench (tau2-bench 1.0), detail, fra Sierra Research: offentlig og åben kildekode.
- Arbejdet
- Samtaler over flere ture med simulerede detailkunder, med butikkens egne værktøjer under dens skriftlige politik.
- Omfang
- Tre kørsler med fyrre samtaler for hver tilgang.
- Modeller
- GPT-5.5 som agent for alle tilgange; GPT-4.1-mini spillede kunden.
- Sammenlignet med
- Modellen i hver tur, et hukommelseslag, genfinding, en semantisk cache og kontekst fra en vidensgraf.
- Holdt ens
- De samme værktøjer, den samme politik, kunde og agentmodel for alle tilgange; Duplex kørte som tjenesten i drift.
Hvad det betyder for dit arbejde.
Dine agenter gør fortsat jobbet færdigt.
Opgavesuccesen matchede modellen i hver tur, mens Duplex fuldførte de ture, den havde lært.
Nyt arbejde bliver stadig gjort.
Duplex fuldførte hver ny opgave i testen: det, den ikke har lært, går til din model.
Besparelser, der lader samtalerne være hele.
Duplex springer kun et kald over på en tur, den har lært. En cache afspillede gemte svar midt i samtalen og fuldførte 8.3% af opgaverne.
Se det på dit eget arbejde.
Fra din egen assistent til hver agent, din virksomhed kører, sætter et pilotprojekt Duplex på dit eget arbejde, med målepunkterne aftalt, før det går i gang.