Op dinsdag om twaalf uur verandert je afdeling financiën een regel: vanaf nu hebben terugbetalingen boven £75 goedkeuring van een manager nodig. Het terugbetalingsverzoek dat om vijf over twaalf binnenkomt, vertelt je veel over hoe je bedrijf AI gebruikt.
Als elk verzoek naar het model gaat, volgt het antwoord de nieuwe regel alleen als iemand die al aan de prompt heeft toegevoegd, en betaal je de volle prijs voor een beslissing die je team de hele dag door neemt. Als je systeem antwoorden hergebruikt die het eerder gaf, kost het verzoek bijna niets, en gaat de terugbetaling door zonder de goedkeuring die de nieuwe regel vereist. Als je het model hertraint op het nieuwe beleid, is het antwoord goed na de volgende trainingsrun, wanneer dat ook is.
Je wilt drie dingen van dat antwoord. Juist betekent het antwoord dat je team zou geven, met jouw regels en jouw uitzonderingen. Actueel betekent dat het de regel volgt zoals die vandaag geldt, vanaf het moment dat hij verandert. Betaalbaar betekent dat een beslissing die je team allang heeft genomen, niet elke keer dat ze terugkomt een volledige modelaanroep kost.
De bekende aanpakken halen elk hooguit twee van de drie, en de derde is de prijs. Duplex haalt alle drie op hetzelfde werk, omdat het van elk resultaat leert terwijl het werk gebeurt.
Roep elke keer het model aan, en het zit in 59.8% van de gevallen goed, en je betaalt elke beslissing.
Wie elke keer het model aanroept, betaalt opnieuw voor hetzelfde denkwerk.
Het model bij elk verzoek aanroepen is de natuurlijke plek om te beginnen, en niet zonder reden. Een model brengt taal, kennis en redeneren naar bijna elke vraag, het kan omgaan met dingen die het nooit heeft gezien, en het wordt beter telkens als de maker een nieuwe versie uitbrengt.
Het begint ook elke keer bij nul. Een terugbetaling die precies lijkt op die van gisteren, wordt van voren af aan uitgezocht en opnieuw betaald, dus de rekening groeit met het gebruik en krimpt nooit naarmate het werk bekender wordt. En het model kent de regels van je team alleen als iemand ze met het verzoek meestuurt: laat er een weg, en het beslist op basis van wat het eerder wist.
Op zijn best is elke keer het model aanroepen dus juist en actueel, zolang elke correctie met elk verzoek meereist, en het is nooit goedkoop. De correcties laten meereizen is een klus op zich: iemand moet elke wijziging opmerken, die toevoegen aan elke prompt waar die nodig is en de regel die erdoor vervangen werd eruit halen.
In een stroom van 3,000 beslissingen waarin de regels vijf keer veranderden, haalde het model op zichzelf een nauwkeurigheid van 59.8%, en maar 2.3% bij de beslissingen die door die wijzigingen werden geraakt. Omdat niemand de nieuwe regels meestuurde, bleef het de oude toepassen, en betaalde het daarbij voor bijna elke beslissing.
Een beslissing bereikt het model, dat het vanaf nul uitzoekt, en de aanroep wordt betaald.
Een cache is goedkoop, totdat de regels veranderen.
Een cache is het voor de hand liggende antwoord op de rekening. Als een verzoek lijkt op een verzoek dat eerder is beantwoord, geeft hij het opgeslagen antwoord terug en slaat hij de modelaanroep over. Bij bekend werk is hij snel, goedkoop en, zolang er niets verandert, juist.
Wat een cache weet, is wat er gevraagd en wat er geantwoord werd, maar niet waarom. Als de regel verandert, vertelt niets hem welke van zijn antwoorden door de wijziging zijn geraakt, en de verzoeken zien er hetzelfde uit als voorheen. Dus blijft hij de oude antwoorden opdienen, vol zelfvertrouwen, tot iemand elk verouderd antwoord met de hand opspoort en wist.
Op zijn best is een cache goedkoop en juist bij wat hij al eerder zag: twee van de drie, ten koste van actueel blijven. In dezelfde test kwam de rekening. Een cache tilde de totale nauwkeurigheid naar 77.3%, en zakte naar 42.6% bij de beslissingen die door de regelwijziging werden geraakt.
Duplex leert de beslissing in plaats van het antwoord: de regel erachter, waarom die juist was en waar die van toepassing is. Als de regel verandert, volgt het de nieuwe vanaf het volgende verzoek, en blijft al het andere wat het leerde zoals het was. Bij de beslissingen die door de wijziging werden geraakt, zat Duplex in 92.5% van de gevallen goed.
Voordat de regel verandert, beantwoordt een cache bekende verzoeken correct, en goedkoop.
Duplex haalt alle drie.
Duplex is een tweede intelligentie naast je AI-model, en het verandert wie wat doet. De beslissingen die je team al heeft genomen, beantwoordt Duplex zelf, in milliseconden en zonder modelaanroep. Wat nieuw is, gaat naar je AI, gebriefd met wat Duplex over het geval weet, en zodra je team het resultaat bevestigt, leert Duplex ook daarvan.
Elke hoek volgt uit leren terwijl het werk gebeurt. De antwoorden zijn juist omdat Duplex ze leerde uit resultaten die je team bevestigde. Ze zijn actueel omdat een wijziging geldt vanaf het volgende verzoek, waar hertraining op de volgende run zou wachten. En ze zijn betaalbaar omdat een beslissing die Duplex heeft geleerd geen modelaanroep nodig heeft, dus hoe meer het leert, hoe minder elk verzoek kost.
Over dezelfde 3,000 beslissingen haalde Duplex naast hetzelfde model een nauwkeurigheid van 94.6%, de hoogste in de test, met 90.3% minder modelaanroepen dan het model alleen en 84.8% lagere kosten. Een cache deed nog minder aanroepen, en betaalde daarvoor met verouderde antwoorden zodra de regel veranderde.
De afweging tussen juist, actueel en betaalbaar was nooit een natuurwet. Ze kwam voort uit aanpakken die elke keer opnieuw nadenken, nooit opnieuw nadenken, of alleen opnieuw nadenken als er een trainingsrun langskomt. Een intelligentie die van elk resultaat leert, hoeft niet te kiezen: ze weet wat je team heeft beslist en volgt wat er is veranderd, en je model wordt alleen betaald voor wat nieuw is.