Agenttaken blijven slagen, met minder modelaanroepen.
Τ-bench zet een AI-agent aan de supportdesk van een winkel, met de eigen tools van de winkel, het geschreven beleid en klanten die van gedachten veranderen. Duplex werkte naast het agentmodel bij elke beurt van elk gesprek.
Τ-bench, van Sierra Research. De benchmark →
- 83.3%TaaksuccesHet model bij elke beurt: 82.5%
- 12.8%Beurten afgehandeld zonder het model≈15% minder modelaanroepen
- 100%Succes bij nieuwe taken
Één gesprek, beurt voor beurt.
Stap 1 van 6: Een klant
Even succesvol als het model bij elke beurt aanroepen.
Taaksucces over 120 gesprekken, en bij de taken die de agent nog nooit had gezien.
Stap 1 van 2: Elke taak
Duplex rondde 83.3% van de taken af. Het model bij elke beurt 82.5%.
Het slaat alleen een aanroep over bij beurten die het heeft geleerd.
Per 100 beurten wie elke beurt afrondde, en of de taak nog slaagde.
Stap 1 van 3: Elke beurt
Met het model bij elke beurt is elke beurt een aanroep, en slaagt 82.5% van de taken.
Minder aanroepen en afgeronde taken, tegelijk.
Beurten afgehandeld zonder het model, afgezet tegen taaksucces, voor elke aanpak in de test.
Stap 1 van 3: Elke aanroep
Vier aanpakken roepen het model bij elke beurt aan; hun succes loopt van 83.3% tot 0.8%.
Hoe het is uitgevoerd.
- Benchmark
- Τ-bench (tau2-bench 1.0), retail, van Sierra Research: openbaar en open source.
- Het werk
- Gesprekken van meerdere beurten met gesimuleerde winkelklanten, met de eigen tools van de winkel en volgens het schriftelijke beleid.
- Omvang
- Drie runs van veertig gesprekken voor elke aanpak.
- Modellen
- GPT-5.5 als agent voor elke aanpak; GPT-4.1-mini speelde de klant.
- Vergeleken met
- Het model bij elke beurt, een geheugenlaag, retrieval, een semantische cache en context uit een kennisgraaf.
- Gelijk gehouden
- Dezelfde tools, hetzelfde beleid, dezelfde klant en hetzelfde agentmodel voor elke aanpak; Duplex draaide als de live dienst.
Wat het betekent voor je werk.
Je agents blijven de klus afmaken.
Het taaksucces was gelijk aan dat van het model bij elke beurt, terwijl Duplex de beurten afhandelde die het had geleerd.
Nieuw werk wordt nog steeds gedaan.
Duplex rondde elke nieuwe taak in de test af: wat het niet heeft geleerd, gaat naar je model.
Besparingen die gesprekken heel laten.
Duplex slaat alleen een aanroep over bij een beurt die het heeft geleerd. Een cache herhaalde midden in het gesprek opgeslagen antwoorden en rondde 8.3% van de taken af.
Zie het in je eigen werk.
Van je eigen assistent tot elke agent die je bedrijf draait: een pilot zet Duplex in op je eigen werk, met vooraf afgesproken maatstaven.