Jeden Monat fällt die Modellrechnung ein wenig höher aus, und nichts ist schiefgelaufen. Mehr Leute in deinem Team nutzen den Assistenten, mehr Agenten laufen die Nacht hindurch, und jeder von ihnen ruft das Modell auf. So wird gemietete Intelligenz bepreist: pro Aufruf. Je mehr deine KI für dich tut, desto mehr zahlst du, und Erfolg schlägt sich als Kosten nieder.
Sieh dir an, wofür diese Aufrufe waren, und dieselbe Arbeit taucht immer wieder auf: die Erstattungsfrage, die dein Supportteam im Frühjahr geklärt hat, die Routing-Entscheidung, die eine bestimmte Art von Ticket jedes Mal in dieselbe Warteschlange schickt, die Ausnahme, die deine Finanzleitung einmal erklärt hat und die das Modell seitdem immer wieder neu herleitet. Deine KI löst jede davon von Grund auf und berechnet den vollen Preis, beim hundertsten Mal so viel wie beim ersten.
Duplex ändert das. Es ist eine zweite Intelligenz neben deinem KI-Modell und lernt die Entscheidungen, die in deiner Arbeit immer wieder anfallen. Jede Entscheidung, die es gelernt hat, braucht keinen bezahlten Modellaufruf mehr, also kostet jede Entscheidung umso weniger, je länger Duplex läuft. Und weil es aus den Ergebnissen lernt, die dein Team bestätigt, fallen mehr dieser Entscheidungen richtig aus.
Deine KI kostet jedes Mal gleich viel, wenn sie ein bekanntes Problem löst.
Jedes bestätigte Ergebnis senkt die nächsten Kosten.
Ein Modell kann bei deiner Arbeit nicht günstiger werden, denn deine Arbeit verändert es nicht. Es hat die Welt gelernt, bevor es veröffentlicht wurde, und jeder Aufruf beginnt dort, ergänzt um das, was der Prompt mitbringt. Ein schwieriger Fall, den noch niemand gesehen hat, bekommt die volle Denkleistung, und genau das willst du. Die bekommt aber auch eine Frage, die dein Team vor Monaten beantwortet hat, zum selben Preis, und vieles von dem, was bei deiner KI ankommt, ist von dieser zweiten Sorte.
Teams gehen auf vernünftige Weise gegen die Rechnung vor. Ein kürzerer Prompt macht jeden Aufruf schlanker. Ein kleineres Modell senkt den Preis, und für einfache Arbeit ist das ein fairer Tausch. Ein Cache beantwortet eine Wiederholung fast umsonst, und bei exakten Wiederholungen ist er kaum zu schlagen. Alle drei helfen, und keiner ändert etwas am Grundprinzip: Jeder Modellaufruf wird weiter bezahlt, und ein Cache kennt nur, was gleich aussieht, also gibt er einem Doppelgänger die alte Antwort und gibt sie auch dann noch, wenn sich deine Regeln geändert haben.
Duplex lernt stattdessen. Bestätigt dein Team ein Ergebnis, lernt Duplex die Entscheidung dahinter, und die nächste ähnliche Anfrage beantwortet Duplex selbst, ohne Modellaufruf. Bei einem Strom von 3,000 Entscheidungen kam eine gelernte Entscheidung in Etwa 97 ms zurück. Ein Modellaufruf dauerte Etwa 2,231 ms, und jeder einzelne wurde bezahlt. Für jemanden, der im Chat wartet, ist das der Unterschied zwischen einer sofortigen Antwort und einer Pause, die auffällt.
So verschwindet jede Entscheidung, die dein Team bestätigt, ab dann von der Rechnung. Die Richtlinienfragen, Routing-Entscheidungen und vertrauten Ausnahmen, die so viel des Aufkommens ausmachen, wandern eine nach der anderen zu Duplex, und deine KI setzt ihre Mühe dort ein, wo sich ihr Preis lohnt: beim Neuen, gebrieft mit dem, was Duplex über den Fall weiß. Sobald die Antwort auf diesen neuen Fall freigegeben ist, übernimmt Duplex auch ihn.
Vieles, was bei deinem Modell ankommt, ist eine Entscheidung, die es schon vielfach getroffen hat.
Die Kosten sinken, während die Genauigkeit steigt.
Kosten und Genauigkeit ziehen meist in entgegengesetzte Richtungen. Damit mehr Antworten stimmen, zahlst du für ein größeres Modell, einen längeren Prompt oder eine zweite Prüfung, und um weniger auszugeben, nimmst du mehr Fehler in Kauf. Wer KI schon einmal produktiv eingesetzt hat, hat an diesem Regler in beide Richtungen gedreht, auf der Suche nach einer Einstellung, bei der beides besser wird.
Mit Duplex bewegen sich beide gemeinsam, in die Richtung, die du willst. Über diese 3,000 Entscheidungen, in deren Verlauf sich die Regeln fünfmal änderten, stieg seine Genauigkeit von 85.0% auf 94.6%, während die Kosten jeder Entscheidung um rund zwei Drittel sanken. Jede Entscheidung, die es lernt, wird so beantwortet, wie dein Team sie entschieden hat, ohne Aufruf, der bezahlt werden muss, und eine einmal gemachte Korrektur gilt danach jedes Mal. So verbessert jedes Ergebnis, das es lernt, beides.
Verglichen mit demselben Modell, das allein an denselben Entscheidungen arbeitete, machte Duplex 90.3% weniger Modellaufrufe bei 84.8% niedrigeren Kosten und lag weit öfter richtig: 94.6% gegenüber 59.8%. Am größten war der Abstand nach den Regeländerungen. Bei den Entscheidungen, die diese Änderungen betrafen, lag Duplex in 92.5% der Fälle richtig, das Modell allein in 2.3%. Das Modell mit Cache schaffte 42.6%, und eine billige Antwort ist keine Ersparnis, wenn sie der alten Regel folgt.
Das Ergebnis hielt bei jeder getesteten Einstellung. Über acht davon blieb Duplex zwischen 94.1% und 94.8% genau, bei etwa einem Siebtel der Kosten des Modells allein, während ein Cache bestenfalls 77.3% erreichte. Und die Kurve muss nicht ganz oben beginnen: Trainiere Duplex mit dem vor, was dein Team schon weiß, und die Einsparungen beginnen am ersten Tag.
Bei einem gemieteten Modell bezahlst du die Nutzung, und jeder Erfolg macht die Rechnung größer. Mit Duplex daneben ist die Nutzung genau das, was die Arbeit günstiger macht: Jedes Ergebnis, das dein Team bestätigt, macht die nächste ähnliche Entscheidung schneller, günstiger und öfter richtig. Bezahle deine KI weiter für das Neue und Schwierige, die Arbeit, die sie am besten kann, und lass alles, was dein Team schon geklärt hat, jeden Monat weniger kosten.
Gegenüber dem Modell allein senkte Duplex die Modellaufrufe um 90.3%, über dieselben 3,000 Entscheidungen.