Was Duplex leistet, in Zahlen.
Jede Zahl neben dem, was sie geschlagen hat: das Modell allein, ein Cache, Retrieval oder Fine-Tuning.
- −90.3%Modellaufrufe, Genauigkeit steigt94.6% genau, gegenüber 59.8% beim Modell allein
- 0%Veraltete Antworten nach einer RegeländerungCache und Retrieval: 72%
- 6 / 6Tests, in denen Duplex Fine-Tuning schlug+30.3 Punkte im Schnitt, ohne Trainingslauf
- 3 / 3Spitzenmodelle bei der Vorhersage von Systemänderungen geschlagenIn einem öffentlichen Benchmark für Unternehmenssysteme, ohne Modellaufrufe
Ein Strom aus 3,000 Entscheidungen, auf drei Arten.
Schritt 1 von 3: Genauigkeit
Alle Ergebnisse.
90% weniger Modellaufrufe und dazu genauer.
94.6%Genauigkeit, die höchste im TestDas Modell allein 59.8% · mit einem Cache 77.3%- −90.3% Modellaufrufe · −84.8% Kosten · −81.9% Latenz
- ~23× Schneller, wenn gelernt · ≈97 ms gegenüber ≈2,231 ms
Ein Strom von 3,000 Entscheidungen, in dem sich die Regeln fünfmal änderten, gegen das Spitzenmodell allein und mit semantischem Cache; ein Lauf mit 300 Entscheidungen ergänzte einen Cache mit Retrieval und einem Wissensgraphen. Jeder Ansatz nutzte dasselbe Modell.
Genauer bei jeder Einstellung, zu einem Siebtel der Kosten.
94.1 bis 94.8%Genauigkeit von Duplex, bei jeder der acht EinstellungenDas Beste, was ein Cache erreichte: 77.3%- 84 bis 91% Bei drei neuen Läufen mit 1,000 Entscheidungen · Das Beste, was ein Cache erreichte: etwa 73%
Ein Strom von 3,000 Entscheidungen, bei dem jeder Ansatz seine ganze Bandbreite an Einstellungen durchlief, dann drei neue Läufe mit 1,000 Entscheidungen in einem zweiten, unabhängigen Aufbau.
Lernt weiter, ohne zu vergessen, zu veralten oder zu wachsen.
5 / 5Anforderungen an Lernen im Produktivbetrieb, in jedem Lauf alle erfülltCache und Retrieval im Schnitt 2.2 / 5 · Online-Fine-Tuning 4 / 5- 0% Veraltete Antworten nach einer Richtlinienänderung · Cache und Retrieval 72%
- Konstant Größe im Zeitverlauf · Cache und Retrieval wuchsen auf ≈1,300 Zeilen
Zehn Läufe, mit derselben Überwachung und denselben Eingaben für jeden Ansatz.
Kommt mit neuen Formulierungen zurecht und erkennt die Doppelgänger.
7.5%Falsche Antworten auf Doppelgänger-AnfragenEin Cache 45.3%, etwa 6× mehr- 98.98% Der Anfragen richtig behandelt: richtig beantwortet oder an deine KI übergeben · Duplex beantwortete 95.78% der bekannten Anfragen selbst
- 0.996 Wert für die Unterscheidung von Vertraut und Neu, maximal 1 · Ein Cache 0.930
Zehn gelernte Intents und sechs Stufen von Neuheit, von exakten Wiederholungen bis zu Anfragen aus einer anderen Domäne, über zehn Läufe.
Plant den kürzesten Weg, mit null Modell-Tokens.
100%Planerfolg, in jedem LaufEin reaktiver Agent: 0% · Duplex nutzte keine Modell-Tokens- 0% Ein reaktiver Greedy-Agent
- ~204 Tokens pro Entscheidung, die ein Spitzenmodell braucht, um mitzuhalten
Eine mehrstufige Welt über zehn Läufe, gegen einen reaktiven Agenten und ein Spitzenmodell mit derselben Aufgabe.
Hält Agentenaufgaben auf Erfolgskurs, mit weniger Modellaufrufen.
83.3%AufgabenerfolgDas Modell in jeder Runde: 82.5%- 12.8% Ohne das Modell abgeschlossene Runden · ≈15% weniger Modellaufrufe
- 100% Erfolg bei neuen Aufgaben
Τ-bench (tau2-bench), Einzelhandel, von Sierra Research. Die unveränderte Einzelhandelsumgebung, mit demselben Modell, denselben Werkzeugen und demselben Nutzersimulator für jeden Ansatz, über drei Läufe mit je vierzig Episoden.
Gleichbleibende Lesekosten, egal wie lang der Verlauf ist.
96%Aktuelle Antworten, wo sich ein Fakt geändert hatteDer neue Fakt, nicht der alte- 3.7× Weniger Lesemenge pro Frage, als wenn der ganze Verlauf gelesen wird · Bei vierzig Sitzungen Verlauf
- 84% Genauigkeit bei vierzig Sitzungen Verlauf
LongMemEval, von Wu et al., ICLR 2025. Fünfzig Fragen, jede gestellt bei einem Verlauf von 2, 5, 10, 20 und 40 Sitzungen.
Blockiert jeden Angriff und lässt normale Arbeit durch.
0%AngriffserfolgÜber sechs Familien umformulierter Angriffe- 0.7% Fehlablehnungen · Der niedrigste Wert aller Ansätze, die jeden Angriff blockierten
- 40 / 40 Vergiftete Beispiele entfernt · Genauigkeit wieder auf ±1 Punkt
Sechs Angriffsfamilien, umformuliert, mit harmlosen Anfragen, die den Angriffen ähneln sollten.
Lernt selbstständig eine neue Fertigkeit, bei abgeschaltetem Modell.
100%Aufgaben bei abgeschaltetem Modell erledigt, in jedem LaufEin Spitzenmodell brauchte ≈507 Aufrufe pro Lauf- 0.26 ms Um eine Fertigkeit wiederzuverwenden · Bei 0 Modellaufrufen
- 627 Unsichere Aktionen pro Lauf abgelehnt · Und die sichere Fertigkeit wurde trotzdem gelernt
Vier Testreihen über zehn Läufe, jede nach ihrem schlechtesten Lauf bewertet.
Schlug drei Spitzenmodelle bei der Vorhersage von Systemänderungen.
0.256Vorhersagewert für SystemänderungenGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204- $0 Modellausgaben · 570 Vorhersagen ohne Aufrufe; 84 auf einem Spitzenmodell kosteten $13.40
- ~80% Entscheidungen aus dem Gelernten beantwortet · Deine KI übernahm den Rest
World of Workflows, von Skyfall Research / ServiceNow. Drei Offline-Tracks, bewertet mit dem eigenen Evaluator der Benchmark-Autoren, über drei Läufe.
Schlägt Fine-Tuning, ohne Trainingslauf.
6 / 6Tests, in denen Duplex einen feinabgestimmten Adapter schlug+30.3 Punkte im Schnitt- 0 Neutraining für den Wechsel zu einer anderen Modellfamilie · Die Adapter ließen sich in 0 von 6 Fällen übertragen
- 60 bis 79% Aus dem Gelernten beantwortet · Auf beiden Modellfamilien
Drei öffentliche Intent-Datensätze, zwei offene Modellfamilien und drei Läufe, mit demselben eingefrorenen Modell und denselben Daten für jeden Ansatz.
Erlebe es mit deiner eigenen Arbeit.
Vom eigenen Assistenten bis zu jedem Agenten, den dein Unternehmen betreibt: Ein Pilotprojekt lässt Duplex mit deiner eigenen Arbeit laufen, und die Kennzahlen werden vereinbart, bevor es beginnt.