Agentenaufgaben gelingen weiter, mit weniger Modellaufrufen.
Τ-bench setzt einen KI-Agenten an den Support eines Einzelhändlers, mit den eigenen Werkzeugen des Händlers, seiner schriftlichen Richtlinie und Kunden, die ihre Meinung ändern. Duplex arbeitete in jedem Zug jedes Gesprächs neben dem Agentenmodell.
Τ-bench, von Sierra Research. Der Benchmark →
- 83.3%AufgabenerfolgDas Modell in jeder Runde: 82.5%
- 12.8%Ohne das Modell abgeschlossene Runden≈15% weniger Modellaufrufe
- 100%Erfolg bei neuen Aufgaben
Ein Gespräch, Runde für Runde.
Schritt 1 von 6: Ein Kunde
So erfolgreich, wie das Modell bei jedem Zug aufzurufen.
Aufgabenerfolg über 120 Gespräche und bei den Aufgaben, die der Agent noch nie gesehen hatte.
Schritt 1 von 2: Jede Aufgabe
Duplex erledigte 83.3% der Aufgaben. Das Modell bei jedem Zug 82.5%.
Es lässt einen Aufruf nur bei Zügen aus, die es gelernt hat.
Wer von je 100 Zügen jeden einzelnen erledigt hat und ob die Aufgabe trotzdem gelang.
Schritt 1 von 3: Jeder Zug
Mit dem Modell bei jedem Zug ist jeder Zug ein Aufruf, und 82.5% der Aufgaben gelingen.
Weniger Aufrufe und erledigte Aufgaben, beides zugleich.
Ohne Modell abgeschlossene Runden gegenüber dem Aufgabenerfolg, für jeden Ansatz im Test.
Schritt 1 von 3: Jeder Aufruf
Vier Ansätze rufen bei jedem Zug das Modell auf; ihr Erfolg reicht von 83.3% bis 0.8%.
Wie es durchgeführt wurde.
- Benchmark
- Τ-bench (tau2-bench 1.0), Einzelhandel, von Sierra Research: öffentlich und Open Source.
- Die Arbeit
- Gespräche über mehrere Runden mit simulierten Kunden im Einzelhandel, mit den eigenen Werkzeugen des Geschäfts und nach seinen schriftlichen Richtlinien.
- Umfang
- Drei Läufe mit je vierzig Gesprächen für jeden Ansatz.
- Modelle
- GPT-5.5 als Agent für jeden Ansatz; GPT-4.1-mini spielte den Kunden.
- Verglichen mit
- Das Modell in jeder Runde, eine Gedächtnisschicht, Retrieval, ein semantischer Cache und Kontext aus einem Wissensgraphen.
- Gleich gehalten
- Dieselben Werkzeuge, Richtlinien, Kunden und dasselbe Agentenmodell für jeden Ansatz; Duplex lief als Live-Dienst.
Was es für deine Arbeit bedeutet.
Deine Agenten erledigen ihren Auftrag weiterhin.
Der Aufgabenerfolg entsprach dem des Modells in jeder Runde, während Duplex die Runden abschloss, die es gelernt hatte.
Neue Arbeit wird trotzdem erledigt.
Duplex erledigte jede neue Aufgabe im Test: Was es nicht gelernt hat, geht an dein Modell.
Einsparungen, die Gespräche intakt lassen.
Duplex lässt einen Aufruf nur bei einem Zug aus, den es gelernt hat. Ein Cache spielte mitten im Gespräch gespeicherte Antworten ab und schloss 8.3% der Aufgaben ab.
Erlebe es mit deiner eigenen Arbeit.
Vom eigenen Assistenten bis zu jedem Agenten, den dein Unternehmen betreibt: Ein Pilotprojekt lässt Duplex mit deiner eigenen Arbeit laufen, und die Kennzahlen werden vereinbart, bevor es beginnt.