Elke maand valt de modelrekening iets hoger uit, en er is niets misgegaan. Meer mensen in je team gebruiken de assistent, meer agents draaien de hele nacht door, en elk van hen roept het model aan. Zo wordt gehuurde intelligentie geprijsd: per aanroep. Hoe meer je AI voor je doet, hoe meer je betaalt, en succes duikt op als kostenpost.
Kijk waar die aanroepen voor waren, en hetzelfde werk komt steeds terug: de terugbetalingsvraag waarover je supportteam in het voorjaar al besliste, de routeringskeuze die één soort ticket telkens naar dezelfde wachtrij stuurt, de uitzondering die je hoofd financiën één keer uitlegde en die het model sindsdien steeds opnieuw heeft uitgezocht. Je AI lost elk ervan van voren af aan op en rekent de volle prijs, de honderdste keer net zoveel als de eerste.
Duplex verandert dat. Het is een tweede intelligentie naast je AI-model, en het leert de beslissingen die in je werk steeds terugkomen. Elke beslissing die het leert, heeft geen betaalde modelaanroep meer nodig, dus hoe langer Duplex draait, hoe minder elke beslissing kost. En omdat het leert van de resultaten die je team bevestigt, vallen meer van die beslissingen goed uit.
Je AI kost elke keer hetzelfde als hij een bekend probleem oplost.
Elk bevestigd resultaat verlaagt de volgende kosten.
Een model kan op geen enkele manier goedkoper worden in jouw werk, want je werk verandert het niet. Het leerde de wereld voordat het uitkwam, en elke aanroep begint daar, plus wat de prompt meebrengt. Een moeilijk geval dat niemand eerder zag, krijgt de volledige redenering, en dat is wat je wilt. Een vraag die je team maanden geleden beantwoordde, krijgt die ook, tegen dezelfde prijs, en veel van wat bij je AI binnenkomt, is van dat tweede soort.
Teams bestrijden de rekening op verstandige manieren. Een kortere prompt scheelt bij elke aanroep wat. Een kleiner model verlaagt de prijs, en voor eenvoudig werk is dat een eerlijke ruil. Een cache beantwoordt een herhaling voor bijna niets, en bij een exacte herhaling is dat moeilijk te verslaan. Ze helpen allemaal, en geen van alle verandert iets aan de deal: elke aanroep van het model kost nog steeds geld, en een cache kent alleen wat er hetzelfde uitziet, dus geeft hij een dubbelganger het oude antwoord en blijft hij dat geven nadat je regels zijn veranderd.
Duplex leert in plaats daarvan. Als je team een resultaat bevestigt, leert Duplex de beslissing erachter, en het volgende vergelijkbare verzoek beantwoordt Duplex zelf, zonder modelaanroep. In een stroom van 3,000 beslissingen kwam een geleerde beslissing terug in Ongeveer 97 ms. Een modelaanroep duurde Ongeveer 2,231 ms, en voor elke aanroep betaalde je. Voor een klant die in een chat zit te wachten, is dat het verschil tussen een direct antwoord en een pauze die opvalt.
Zo verdwijnt elke beslissing die je team bevestigt vanaf dat moment van de rekening. De beleidsvragen, routeringskeuzes en bekende uitzonderingen die zo’n groot deel van het verkeer uitmaken, gaan één voor één naar Duplex, en je AI steekt zijn moeite in waar zijn prijs het waard is: in wat nieuw is, gebriefd met wat Duplex over het geval weet. Zodra het antwoord op dat nieuwe geval is goedgekeurd, neemt Duplex ook dat over.
Veel van wat bij je model aankomt, is een beslissing die het al talloze keren heeft genomen.
De kosten dalen terwijl de nauwkeurigheid stijgt.
Kosten en nauwkeurigheid trekken meestal tegen elkaar in. Om meer antwoorden goed te krijgen, betaal je voor een groter model, een langere prompt of een tweede controle, en om minder uit te geven neem je meer fouten voor lief. Iedereen die AI in productie heeft gebruikt, heeft die knop beide kanten op gedraaid, op zoek naar een stand waarbij allebei beter worden.
Met Duplex bewegen de twee samen, in de richting die je wilt. Over die 3,000 beslissingen, met onderweg vijf regelwijzigingen, steeg de nauwkeurigheid van Duplex van 85.0% naar 94.6%, terwijl de kosten per beslissing met ongeveer twee derde daalden. Elke beslissing die het leert, wordt beantwoord zoals je team die nam, zonder aanroep om voor te betalen, en een correctie die één keer is gemaakt, geldt daarna elke keer. Zo verbetert elk resultaat dat het leert allebei.
Vergeleken met hetzelfde model dat in zijn eentje aan dezelfde beslissingen werkte, deed Duplex 90.3% minder modelaanroepen tegen 84.8% lagere kosten, en het zat veel vaker goed: 94.6% tegen 59.8%. Het verschil was het grootst nadat de regels waren veranderd. Bij de beslissingen die door die wijzigingen werden geraakt, zat Duplex in 92.5% van de gevallen goed en het model alleen in 2.3%. Het model met een cache kwam tot 42.6%, en een goedkoop antwoord is geen besparing als het de oude regel volgt.
Het resultaat hield stand bij elke geteste instelling. Over acht instellingen bleef Duplex tussen 94.1% en 94.8% nauwkeurig, tegen ongeveer een zevende van wat het model alleen kost, terwijl een cache in het beste geval 77.3% haalde. En de curve hoeft niet bovenaan te beginnen: train Duplex vooraf op wat je team al weet, en de besparing begint op de eerste dag.
Met een gehuurd model betaal je voor gebruik, en elk succes maakt de rekening hoger. Met Duplex ernaast is gebruik juist wat het werk goedkoper maakt: elk resultaat dat je team bevestigt, maakt de volgende vergelijkbare beslissing sneller, goedkoper en vaker juist. Blijf je AI betalen voor wat nieuw en moeilijk is, het werk waar hij het best in is, en laat alles wat je team al heeft beslist elke maand minder kosten.
Tegenover het model op zichzelf verminderde Duplex de modelaanroepen met 90.3% over dezelfde 3,000 beslissingen.