Två kunder hör av sig samma morgon. ”Kan jag få pengarna tillbaka för det här?” Är en fråga om återbetalning som ditt team avgjorde för länge sedan. ”Kan jag få pengarna tillbaka för det här presentkortet?” Låter nästan likadant och kräver ett annat svar, eftersom presentkort ger tillgodokvitto, inte kontanter.
Allt som svarar utifrån likhet behandlar de två som en. Den andra kunden får återbetalningspolicyn, levererad med samma säkerhet som den första, och ingenting flaggar det, eftersom ingenting såg fel ut. Ett långsamt rätt svar kostar dig en minut. Ett självsäkert felaktigt svar går ut med ditt namn på, och du får höra om det genom klagomålet, eller så får du aldrig höra om det alls.
Duplex vet vad den vet. Den svarar på det den har lärt sig, hur förfrågan än är formulerad, och den kan se när en förfrågan bara ser bekant ut. En sådan går till din AI, informerad om det Duplex vet om fallet. Gränsen mellan de två är där risken finns, och Duplex drar den mycket skarpare än en cache.
En förfrågan som Duplex har lärt sig besvaras direkt.
Snarlika fall är det svåra.
Förfrågningar finns i fler sorter än bekanta och nya. Vissa upprepar ett fall som ditt team har avgjort, ord för ord. Vissa är samma fall med nya ord: ”Jag vill gärna ha en återbetalning för det här, tack.” Vissa ser bara bekanta ut, som presentkortet: samma ämne, de flesta av orden desamma, och en skillnad som ändrar svaret. Längre ut finns förfrågningar som är uppenbart nya, som en återbetalning för en order som delats i två, och vissa från ett helt annat område.
De två ytterlägena är enkla. En exakt upprepning kan besvaras så som den avgjordes förut, och en förfrågan från ett annat område är lätt att lägga åt sidan. Risken sitter i mitten, där en förfrågan är tillräckligt nära för att passera som bekant och tillräckligt annorlunda för att det gamla svaret ska vara fel. Den mitten betyder mer för varje år, eftersom fler svar nu blir handlingar direkt: när en agent agerar på ett snarlikt fall blir det felaktiga svaret en felaktig återbetalning, och ingen läser den först.
De vanliga verktygen gör var och en en del av jobbet bra. En handskriven regel är exakt om det den namnger: den fångar ”presentkort” och missar ”värdebevis”. En cache besvarar en exakt upprepning direkt, för nästan ingenting. Hämtning går längre och hittar det som liknar, vilket ger din AI användbar kontext. Alla tre går efter ytan på en förfrågan, så det snarlika fallet får det gamla svaret, serverat med samma säkerhet som den verkliga upprepningen.
Duplex lär sig vad ett beslut beror på, utöver orden det kom i. Därför besvarar den samma förfrågan i nya ord, och den märker när en förfrågan som ser bekant ut skiljer sig på det sätt som spelar roll. ”Jag vill gärna ha en återbetalning för det här, tack” besvaras direkt, och presentkortet går till din AI. Med 1 som högsta poäng för att skilja bekant från nytt nådde Duplex 0.996 och en cache 0.930, en skillnad som ser liten ut tills du ser var den hamnar: på de snarlika fallen.
Kända förfrågningar på ena sidan, nya på den andra: den som svarar måste skilja dem åt.
Färre felaktiga svar, eftersom den lämnar över det som är nytt.
Hjärnan arbetar med två system: ett långsamt för allmän kunskap och ett snabbt för varje ny erfarenhet. Din AI är det långsamma, och Duplex är det snabba. Samspelet fungerar bara om det snabba vet var dess kunskap tar slut. En förfrågan som Duplex har lärt sig besvaras direkt, utan modellanrop. En förfrågan som är ny, eller bara ser bekant ut, går till din AI, informerad om det Duplex vet om fallet, så att modellen börjar från ditt teams kontext snarare än från ingenting.
Över tio körningar hade Duplex fel på 7.5% av de vilseledande snarlika fallen. En cache hade på samma förfrågningar fel i 45.3% av fallen, ungefär sex gånger så ofta. Och Duplex köpte inte den säkerheten genom att vända bort arbete: den besvarade själv 95.78% av de kända förfrågningarna, och vid varje konfidensinställning hanterade den mer av det kända arbetet och gjorde färre osäkra gissningar på nytt arbete.
Räkna en korrekt överlämning till din AI som det den är, rätt beslut, så hanterade Duplex 98.98% av alla förfrågningar korrekt. I produktion är det siffran att hålla ögonen på: hur ofta varje förfrågan hamnar hos den som borde besvara den, snarare än hur ofta ett system är villigt att svara. Ett system som svarar på allt får höga poäng för villighet och låga för förtroende.
Det ändrar hur långt du kan släppa den. Ett system som gissar måste övervakas i allt, eftersom vilket svar som helst kan vara fel. Ett system som känner sina gränser kan få det välbekanta arbetet helt och hållet, medan din AI tar det som är nytt. Det är skillnaden mellan en nyanställd vars varje svar du kontrollerar och en kollega du anförtror rutinjobben, som stämmer av med dig när ett fall är obekant.
Och gränsen flyttar sig. Varje resultat som ditt team bekräftar i ett nytt fall lär Duplex det fallet, så nästa liknande förfrågan besvaras på den här sidan gränsen, på millisekunder. Din AI behåller det arbete den gör bäst, det nya och det svåra, och färre självsäkra felaktiga svar går ut med ditt namn på. Ett system som vet vad det vet kan anförtros lite mer varje vecka.
Vid vilseledande snarlika fall gav en cache det lagrade svaret och hade fel 45.3% av gångerna.