En konversation, replik för replik.
Steg 1 av 6: En kund
Agentuppgifter fortsätter att lyckas, med färre modellanrop.
Τ-bench sätter en AI-agent i en butiks kundtjänst, med butikens egna verktyg, dess skrivna policy och kunder som ändrar sig. Duplex arbetade bredvid agentens modell i varje tur i varje konversation.
Τ-bench, av Sierra Research. Benchmarktestet →
- 83.3%UppgiftsframgångModellen vid varje replik: 82.5%
- 12.8%Repliker slutförda utan modellen≈15% färre modellanrop
- 100%Lyckade nya uppgifter
Lika framgångsrik som att anropa modellen på varje tur.
Andel lyckade uppgifter över 120 konversationer, och på de uppgifter agenten aldrig hade sett förut.
Steg 1 av 2: Varje uppgift
Duplex slutförde 83.3% av uppgifterna. Modellen på varje tur slutförde 82.5%.
Den hoppar över ett anrop bara på turer som den har lärt sig.
Av varje 100 turer, vem som slutförde var och en, och om uppgiften ändå lyckades.
Steg 1 av 3: Varje tur
Med modellen på varje tur är varje tur ett anrop, och 82.5% av uppgifterna lyckas.
Färre anrop och slutförda uppgifter, samtidigt.
Repliker slutförda utan modellen, mot andel lyckade uppgifter, för varje metod i testet.
Steg 1 av 3: Varje anrop
Fyra metoder anropar modellen på varje tur; deras framgång varierar från 83.3% till 0.8%.
Så genomfördes det.
- Benchmark
- Τ-bench (tau2-bench 1.0), detaljhandel, från Sierra Research: offentligt och med öppen källkod.
- Arbetet
- Konversationer med flera repliker med simulerade butikskunder, med butikens egna verktyg enligt dess skrivna policy.
- Omfattning
- Tre körningar med fyrtio konversationer för varje metod.
- Modeller
- GPT-5.5 som agent för alla metoder; GPT-4.1-mini spelade kunden.
- Jämfört med
- Modellen vid varje replik, ett minneslager, hämtning, en semantisk cache och kontext från en kunskapsgraf.
- Lika för alla
- Samma verktyg, policy, kund och agentmodell för alla metoder; Duplex kördes som den skarpa tjänsten.
Vad det betyder för ditt arbete.
Dina agenter fortsätter att slutföra jobbet.
Andelen lyckade uppgifter låg i nivå med modellen vid varje replik, medan Duplex slutförde de repliker den hade lärt sig.
Nytt arbete blir ändå gjort.
Duplex slutförde varje ny uppgift i testet: det den inte har lärt sig går till din modell.
Besparingar som lämnar konversationerna hela.
Duplex hoppar över ett anrop bara på en tur som den har lärt sig. En cache spelade upp lagrade svar mitt i konversationen och slutförde 8.3% av uppgifterna.
Se det i ditt eget arbete.
Från din egen assistent till varje agent ditt företag kör sätter en pilot Duplex på ditt eget arbete, med mätetal som avtalas innan den börjar.