Am Dienstag um zwölf Uhr ändert dein Finanzteam eine Regel: Ab sofort brauchen Erstattungen über £75 die Freigabe einer Führungskraft. Die Erstattungsanfrage, die um fünf nach zwölf eingeht, verrät viel darüber, wie dein Unternehmen KI nutzt.
Geht jede Anfrage ans Modell, folgt die Antwort der neuen Regel nur, wenn jemand sie schon in den Prompt geschrieben hat, und du zahlst den vollen Preis für eine Entscheidung, die dein Team den ganzen Tag trifft. Verwendet dein System Antworten wieder, die es schon gegeben hat, kostet die Anfrage fast nichts, und die Erstattung geht ohne die Freigabe durch, die die neue Regel verlangt. Trainierst du das Modell auf die neue Richtlinie neu, ist die Antwort nach dem nächsten Trainingslauf richtig, wann immer der sein mag.
Von dieser Antwort willst du drei Dinge. Richtig ist die Antwort, die dein Team geben würde, mit deinen Regeln und deinen Ausnahmen. Aktuell heißt, dass sie der Regel folgt, wie sie heute gilt, ab dem Moment, in dem sie sich ändert. Bezahlbar heißt, dass eine Entscheidung, die dein Team längst geklärt hat, nicht jedes Mal einen vollen Modellaufruf kostet, wenn sie wiederkommt.
Die vertrauten Ansätze erreichen jeweils höchstens zwei der drei, und das dritte ist der Preis dafür. Duplex erreicht alle drei bei derselben Arbeit, weil es aus jedem Ergebnis lernt, während die Arbeit läuft.
Ruf jedes Mal das Modell auf, und es liegt in 59.8% der Fälle richtig, wobei jede Entscheidung bezahlt wird.
Wer jedes Mal das Modell aufruft, bezahlt dasselbe Denken immer wieder.
Das Modell bei jeder Anfrage aufzurufen ist der naheliegende Anfang, und das aus gutem Grund. Ein Modell bringt Sprache, Wissen und Denkvermögen zu fast jeder Frage mit, es kommt mit Dingen zurecht, die es nie gesehen hat, und es wird mit jeder neuen Version besser, die sein Hersteller ausliefert.
Es fängt aber auch jedes Mal bei null an. Eine Erstattung, die genau der von gestern gleicht, wird von Grund auf neu erarbeitet und noch einmal bezahlt, also wächst die Rechnung mit der Nutzung und schrumpft nie, wenn die Arbeit vertraut wird. Und das Modell kennt die Regeln deines Teams nur, wenn jemand sie mit der Anfrage mitschickt: Lass eine weg, und es entscheidet nach dem, was es vorher wusste.
Im besten Fall ist es also richtig und aktuell, jedes Mal das Modell aufzurufen, solange jede Korrektur mit jeder Anfrage mitreist, und es ist nie billig. Dafür zu sorgen, dass die Korrekturen mitreisen, ist eine eigene Aufgabe: Jemand muss jede Änderung bemerken, sie in jeden Prompt einfügen, der sie braucht, und die Regel herausnehmen, die sie ersetzt hat.
Bei einem Strom von 3,000 Entscheidungen, in dem sich die Regeln fünfmal änderten, erreichte das Modell allein 59.8% Genauigkeit und nur 2.3% bei den Entscheidungen, die diese Änderungen betrafen. Weil niemand die neuen Regeln mitschickte, wandte es weiter die alten an, und dabei wurde fast jede Entscheidung bezahlt.
Eine Entscheidung erreicht das Modell, das sie von Grund auf erarbeitet, und der Aufruf wird bezahlt.
Ein Cache ist billig, bis sich die Regeln ändern.
Ein Cache ist die naheliegende Antwort auf die Rechnung. Sieht eine Anfrage aus wie eine, die schon beantwortet wurde, liefert er die gespeicherte Antwort und überspringt den Modellaufruf. Bei vertrauter Arbeit ist er schnell, billig und, solange sich nichts ändert, richtig.
Ein Cache weiß, was gefragt und was geantwortet wurde, aber nicht, warum. Ändert sich die Regel, sagt ihm nichts, welche seiner Antworten die Änderung betrifft, und die Anfragen sehen aus wie vorher. Also liefert er weiter selbstsicher die alten Antworten, bis jemand jede veraltete von Hand findet und löscht.
Im besten Fall ist ein Cache billig und richtig bei dem, was er schon gesehen hat: zwei der drei, bezahlt mit der Aktualität. Im selben Test wurde dieser Preis fällig. Ein Cache hob die Gesamtgenauigkeit auf 77.3% und fiel auf 42.6% bei den Entscheidungen, die die Regeländerung betraf.
Duplex lernt die Entscheidung statt der Antwort: die Regel dahinter, warum sie richtig war und wo sie gilt. Ändert sich die Regel, folgt es ab der nächsten Anfrage der neuen, und alles andere, was es gelernt hat, bleibt, wie es war. Bei den Entscheidungen, die die Änderung betraf, lag Duplex in 92.5% der Fälle richtig.
Bevor sich die Regel ändert, beantwortet ein Cache bekannte Anfragen richtig, und günstig.
Duplex erreicht alle drei.
Duplex ist eine zweite Intelligenz neben deinem KI-Modell, und es ändert, wer was tut. Die Entscheidungen, die dein Team geklärt hat, beantwortet Duplex selbst, in Millisekunden und ohne Modellaufruf. Was neu ist, geht an deine KI, gebrieft mit dem, was Duplex über den Fall weiß, und sobald dein Team das Ergebnis bestätigt, lernt Duplex auch daraus.
Jede Ecke ergibt sich daraus, dass gelernt wird, während die Arbeit läuft. Die Antworten sind richtig, weil Duplex sie aus Ergebnissen gelernt hat, die dein Team bestätigt hat. Sie sind aktuell, weil eine Änderung ab der nächsten Anfrage gilt, wo Neutraining auf den nächsten Lauf warten würde. Und sie sind bezahlbar, weil eine Entscheidung, die Duplex gelernt hat, keinen Modellaufruf braucht, also kostet jede Anfrage umso weniger, je mehr es lernt.
Über dieselben 3,000 Entscheidungen erreichte Duplex neben demselben Modell 94.6% Genauigkeit, die höchste im Test, mit 90.3% weniger Modellaufrufen als das Modell allein und 84.8% niedrigeren Kosten. Ein Cache machte noch weniger Aufrufe und bezahlte dafür mit veralteten Antworten, sobald sich die Regel änderte.
Der Zielkonflikt zwischen richtig, aktuell und bezahlbar war nie ein Naturgesetz. Er kam von Ansätzen, die jedes Mal neu nachdenken, nie neu nachdenken oder nur dann neu nachdenken, wenn ein Trainingslauf ansteht. Eine Intelligenz, die aus jedem Ergebnis lernt, muss nicht wählen: Sie weiß, was dein Team geklärt hat, und folgt dem, was sich geändert hat, und dein Modell wird nur für das Neue bezahlt.