Twee klanten schrijven op dezelfde ochtend. “Kan ik hiervoor mijn geld terugkrijgen?” Is een terugbetalingsvraag waarover je team allang heeft beslist. “Kan ik voor deze cadeaubon mijn geld terugkrijgen?” Leest bijna hetzelfde, en vraagt om een ander antwoord, want cadeaubonnen krijgen tegoed, geen contant geld.
Alles wat antwoordt op basis van gelijkenis, behandelt de twee als één. De tweede klant krijgt het terugbetalingsbeleid, met dezelfde zekerheid gebracht als bij de eerste, en niets slaat alarm, omdat niets er verkeerd uitzag. Een traag goed antwoord kost je een minuut. Een zelfverzekerd fout antwoord gaat de deur uit met jouw naam erop, en je hoort ervan via de klacht, of je hoort er helemaal nooit van.
Duplex weet wat het weet. Het beantwoordt wat het heeft geleerd, hoe het verzoek ook verwoord is, en het ziet wanneer een verzoek alleen bekend lijkt. Zo’n verzoek gaat naar je AI, gebriefd met wat Duplex over het geval weet. Op de grens tussen die twee zit het risico, en Duplex trekt die grens veel scherper dan een cache.
Een verzoek dat Duplex heeft geleerd, wordt meteen beantwoord.
Dubbelgangers zijn het lastige geval.
Verzoeken zijn er in meer soorten dan bekend en nieuw. Sommige herhalen woord voor woord een geval waarover je team al heeft beslist. Sommige zijn hetzelfde geval in nieuwe woorden: “Ik wil hiervoor graag mijn geld terug.” Sommige lijken alleen bekend, zoals de cadeaubon: hetzelfde onderwerp, grotendeels dezelfde woorden, en één verschil dat het antwoord verandert. Verder weg liggen verzoeken die duidelijk nieuw zijn, zoals een terugbetaling voor een bestelling die in tweeën is gesplitst, en sommige uit een heel ander vakgebied.
De twee uitersten zijn makkelijk. Een exacte herhaling kan worden beantwoord zoals er eerder over is beslist, en een verzoek uit een ander vakgebied is makkelijk opzij te leggen. Het risico zit in het midden, waar een verzoek genoeg lijkt om voor bekend door te gaan en zo anders is dat het oude antwoord fout is. Dat midden telt elk jaar zwaarder, omdat steeds meer antwoorden nu direct in acties veranderen: als een agent handelt op basis van een dubbelganger, wordt het foute antwoord een foute terugbetaling, en niemand leest het eerst.
De gebruikelijke tools doen elk een deel van het werk goed. Een handgeschreven regel is precies over wat hij noemt: hij vangt “cadeaubon” en mist “waardebon”. Een cache beantwoordt een exacte herhaling meteen, voor bijna niets. Retrieval gaat verder en vindt wat erop lijkt, en dat geeft je AI nuttige context. Alle drie gaan af op de oppervlakte van een verzoek, dus de dubbelganger krijgt het oude antwoord, opgediend met dezelfde zekerheid als de echte herhaling.
Duplex leert waar een beslissing van afhangt, en ook de woorden waarin die binnenkwam. Zo beantwoordt het hetzelfde verzoek in nieuwe woorden, en merkt het wanneer een verzoek dat bekend lijkt verschilt op het punt dat ertoe doet. “Ik wil hiervoor graag mijn geld terug” wordt meteen beantwoord, en de cadeaubon gaat naar je AI. Op een schaal tot 1 voor het onderscheiden van bekend en nieuw haalde Duplex 0.996 en een cache 0.930, een verschil dat klein lijkt tot je ziet waar het valt: bij de dubbelgangers.
Bekende verzoeken aan de ene kant, nieuwe aan de andere: wie antwoordt, moet ze uit elkaar houden.
Minder foute antwoorden, omdat het overdraagt wat nieuw is.
Het brein werkt met twee systemen: een langzaam systeem voor algemene kennis, en een snel systeem voor elke nieuwe ervaring. Je AI is het langzame, en Duplex is het snelle. De combinatie werkt alleen als het snelle systeem weet waar zijn kennis ophoudt. Een verzoek dat Duplex heeft geleerd, wordt meteen beantwoord, zonder modelaanroep. Een verzoek dat nieuw is, of alleen bekend lijkt, gaat naar je AI, gebriefd met wat Duplex over het geval weet, zodat het model begint bij de context van je team in plaats van bij niets.
Over tien runs zat Duplex fout bij 7.5% van de misleidende dubbelgangers. Een cache zat bij dezelfde verzoeken in 45.3% van de gevallen fout, ongeveer zes keer zo vaak. En Duplex kocht die veiligheid niet door werk te weigeren: het beantwoordde zelf 95.78% van de bekende verzoeken, en bij elke zekerheidsinstelling handelde het meer van het bekende werk af en deed het minder onveilige gokken bij nieuw werk.
Tel een correcte overdracht aan je AI als wat het is, de juiste beslissing, en Duplex handelde 98.98% van alle verzoeken correct af. In productie is dat het getal om in de gaten te houden: hoe vaak elk verzoek terechtkomt bij wie het hoort te beantwoorden, in plaats van hoe vaak een systeem bereid is te antwoorden. Een systeem dat alles beantwoordt, scoort goed op bereidheid en slecht op vertrouwen.
Dat verandert hoeveel ruimte je het kunt geven. Een systeem dat gokt, moet je bij alles in de gaten houden, omdat elk antwoord het verkeerde kan zijn. Een systeem dat zijn grenzen kent, kun je het bekende werk zonder meer toevertrouwen, terwijl je AI neemt wat nieuw is. Het is het verschil tussen een nieuwe collega van wie je elk antwoord controleert en een collega die je het routinewerk toevertrouwt, en die bij je navraagt als een geval onbekend is.
En de grens verschuift. Elk resultaat dat je team bij een nieuw geval bevestigt, leert Duplex dat geval, dus het volgende vergelijkbare verzoek wordt aan de bekende kant beantwoord, in milliseconden. Je AI houdt het werk waar hij het best in is, het nieuwe en het moeilijke, en er gaan minder zelfverzekerde foute antwoorden de deur uit met jouw naam erop. Een systeem dat weet wat het weet, kun je elke week iets meer toevertrouwen.
Bij misleidende dubbelgangers gaf een cache het opgeslagen antwoord en zat hij in 45.3% van de gevallen fout.