Wenn dir ein Unternehmen ein Diagramm zeigt, auf dem es selbst ganz oben steht, solltest du zuerst fragen, wer den Test geschrieben hat. Ein Test, den du selbst entwirfst, misst meist das, worin du gut bist, so sorgfältig du auch bist. Du wählst die Aufgaben, die Daten und die Bewertung, und von außen kann niemand sagen, wie viel vom Ergebnis am Produkt liegt und wie viel am Test.
Am meisten wert sind die Ergebnisse auf fremdem Platz: ein Test, gebaut von Leuten ohne Eigeninteresse an deinem Produkt, mit denselben Aufgaben für alle und bewertet von denen, die ihn geschrieben haben. Du wählst die Fragen nicht aus, und du kannst die Spielregeln nicht nachträglich ändern. Es ist der Unterschied zwischen einem Heimsieg und einem Auswärtssieg.
World of Workflows ist so ein Platz. Seine Autoren haben den Benchmark auf ServiceNow gebaut und mit ihrem eigenen Evaluator bewertet. Duplex trat gegen drei Spitzenmodelle an und lag bei der Vorhersage, wie sich das System ändert, vorn, ohne einen einzigen Modellaufruf.
World of Workflows: ein öffentlicher Benchmark auf ServiceNow, bewertet von seinen eigenen Autoren.
Fremder Test, fremde Bewertung.
Der Benchmark setzt KI in genau die Art von System, in der Unternehmensarbeit stattfindet: Incidents, Anfragen und Freigaben, jede mit eigenen Regeln dafür, was folgt. Ein Agent, der in ServiceNow arbeitet, muss verstehen, was eine Operation bewirken wird, nicht nur, was die Anfrage verlangt. Eines der Dinge, die der Benchmark testet, ist, ob man vorhersagen kann, wie sich das System nach einer Operation ändert.
Jede Aufgabe stammte von den Autoren des Benchmarks, die unabhängig von Vareon arbeiteten. Duplex und drei Spitzenmodelle beantworteten dieselben, auf drei Offline-Tracks, mit je drei Läufen, und der eigene Evaluator der Autoren bewertete jeden Lauf. Das getestete Unternehmen wählte weder die Fragen noch die Benotung.
Deshalb kann man dem Ergebnis leicht vertrauen und es leicht wiederholen. Jeder kann denselben Benchmark nehmen, ihn genauso laufen lassen und mit demselben Evaluator bewerten und bekommt eine Zahl, die für alle, die den Test abgelegt haben, dasselbe bedeutet.
Und das Feld war stark. GPT-5.1, Gemini 3 Pro und Claude Sonnet 4.5 sind Spitzenmodelle, jedes unter den leistungsfähigsten allgemeinen Modellen seiner Zeit, die breites Wissen und sorgfältiges Denken in jede Aufgabe einbringen, die man ihnen gibt. Auf einem Platz, den keines von ihnen gewählt hatte, war die Frage für alle vier dieselbe: Was wird diese Operation verändern?
Die Autoren des Benchmarks bauten die Aufgaben auf ServiceNow, unabhängig von Vareon.
Am besten darin, vorherzusagen, was sich ändert.
Diese Änderung vorherzusagen ist schwerer, als es klingt. Je nachdem, wie ein Team das System eingerichtet hat, schließt das Lösen eines Incidents vielleicht zugehörige Aufgaben oder benachrichtigt eine ganze Gruppe. Diese Folgen stecken in den eigenen Regeln des Systems und nicht in den Worten der Anfrage, also muss sich ein Modell, das die Anfrage liest, aus allgemeinem Wissen über ähnliche Systeme zu ihnen durchdenken.
Duplex sagte sie am besten voraus. Es erreichte 0.256, gegenüber 0.205 für Gemini 3 Pro, 0.204 für Claude Sonnet 4.5 und 0.166 für GPT-5.1, und der Vorsprung ist gegenüber allen dreien statistisch signifikant, bei denselben Aufgaben.
Und das ohne Modellaufrufe. Duplex machte 570 Vorhersagen ohne jede Modellkosten, während 84 Vorhersagen auf einem Spitzenmodell $13.40 kosteten. Auf einem Benchmark ist dieser Abstand klein, im Produktivbetrieb groß, wo ein Agent vor jeder Operation dieselbe Frage stellt, den ganzen Tag.
Der Unterschied liegt darin, was jedes mitbringt. Ein Spitzenmodell ist allgemeine Intelligenz, langsam gelernt, wie der Neokortex: Es kennt die Welt. Duplex ist Laufzeit-Intelligenz, schnell, wie der Hippokampus: Es lernt aus dem, was in diesem System passiert, wie es sich verhält, und so ist die Vorhersage der nächsten Änderung etwas, das es weiß, statt etwas, das es sich erarbeiten muss.
Deine Agenten können hinsehen, bevor sie handeln.
Ein Agent, der in deinen Systemen arbeitet, verändert echte Dinge. Er schließt Incidents, weist Anfragen neu zu und sagt Leuten, was passiert ist. Die teuren Fehler sind die, die er nicht kommen sah: ein Incident, gelöst ohne den Abschlussvermerk, den er braucht, oder eine Anruferin, die benachrichtigt wurde, bevor irgendetwas behoben war. Bis es jemand merkt, ist die Änderung schon passiert.
Duplex lernt, wie sich deine eigenen Systeme verhalten: was jede Aktion verändert und was als Nächstes kommt. Bevor dein Agent eine Operation ausführt, kann Duplex ihm also sagen, was sich ändern wird, den Status, den Vermerk und wer benachrichtigt wird, und der Agent prüft das zuerst, so wie eine umsichtige Kollegin hinsieht, bevor sie auf den Knopf drückt. Zeigt die Vorhersage, dass die Anruferin benachrichtigt wird, bevor der Fix bestätigt ist, kann der Agent innehalten und nachfragen.
Vorhersage ist nicht die ganze Aufgabe, und der Benchmark zeigt, wo die Grenze liegt. Bei der exakten Rekonstruktion von Aktionen, also darin, die genaue Operation mit jedem Detail richtig zu benennen, lag Duplex gleichauf mit GPT-5.1 und Gemini 3 Pro. Das ist Arbeit, bei der das Denken eines Modells seine Berechtigung hat, also beantwortet Duplex, was es gelernt hat, und deine KI übernimmt den Rest. Jedes Ergebnis, das dein Team bestätigt, verlagert ein wenig mehr dieser Arbeit zu Duplex.
Mit einem Ergebnis auf fremdem Platz kannst du planen. In einem Test, den es nicht geschrieben hat, bewertet von den eigenen Autoren des Tests, sah Duplex besser als drei Spitzenmodelle voraus, was jede Operation verändern würde, ohne einen Cent Modellkosten. Wenn Duplex aus deinen eigenen Systemen lernt, bekommen deine Agenten dasselbe: Jede Operation wird vor der Ausführung daraufhin geprüft, was sie verändern wird.
Dein Agent will gleich eine Operation ausführen: einen Vorfall in deinem System lösen.