Dva zákazníci napíšou ve stejné ráno. „Můžu dostat zpátky peníze za tohle?“ Je otázka na refundaci, kterou váš tým vyřešil už dávno. „Můžu dostat zpátky peníze za tuhle dárkovou kartu?“ Zní skoro stejně a potřebuje jinou odpověď, protože na dárkové karty se vrací kredit v obchodě, ne hotovost.
Cokoli, co odpovídá podle podobnosti, s nimi zachází jako s jedním. Druhý zákazník dostane zásady refundací, podané se stejnou jistotou jako prvnímu, a nic to neoznačí, protože nic nevypadalo špatně. Pomalá správná odpověď vás stojí minutu. Sebejistá chybná odpověď odchází s vaším jménem a dozvíte se o ní ze stížnosti, nebo se o ní nedozvíte vůbec.
Duplex ví, co ví. Odpovídá na to, co se naučil, ať je požadavek formulován jakkoli, a pozná, když požadavek jen vypadá povědomě. Takový jde k vaší AI, i s podklady z toho, co Duplex o případu ví. Riziko sídlí právě na hranici mezi nimi a Duplex ji vede mnohem ostřeji než cache.
Požadavek, který se Duplex naučil, dostane odpověď hned.
Klamně podobné požadavky jsou ten těžký případ.
Požadavky nejsou jen povědomé a nové. Některé opakují případ, který váš tým vyřešil, slovo od slova. Některé jsou stejný případ v nových slovech: „Chtěl bych za tohle refundaci, prosím.“ Některé jen vypadají povědomě, jako ta dárková karta: stejné téma, většina stejných slov a jeden rozdíl, který mění odpověď. Dál leží požadavky, které jsou jasně nové, třeba refundace objednávky rozdělené na dvě, a některé úplně z jiného oboru.
Oba konce jsou snadné. Na přesné opakování se dá odpovědět tak, jak se rozhodlo dřív, a požadavek z jiného oboru se snadno odloží stranou. Riziko sedí uprostřed, kde je požadavek dost blízko, aby prošel jako povědomý, a dost odlišný, aby byla stará odpověď chybná. Ten střed je rok od roku důležitější, protože stále víc odpovědí se rovnou mění v akce: když agent jedná podle klamně podobného požadavku, chybná odpověď se stane chybnou refundací a nikdo si ji předtím nepřečte.
Obvyklé nástroje dělají každý část práce dobře. Ručně napsané pravidlo je přesné v tom, co pojmenuje: zachytí „dárkovou kartu“ a mine „poukaz“. Cache odpoví na přesné opakování okamžitě, skoro za nic. Vyhledávání jde dál a najde to, co vypadá podobně, což dává vaší AI užitečný kontext. Všechny tři se řídí povrchem požadavku, takže klamně podobný požadavek dostane starou odpověď, podanou se stejnou jistotou jako skutečné opakování.
Duplex se učí, na čem rozhodnutí závisí, a nejen slova, ve kterých přišlo. Proto odpoví na stejný požadavek v nových slovech a všimne si, když se povědomě vypadající požadavek liší tím, na čem záleží. „Chtěl bych za tohle refundaci, prosím“ je zodpovězeno hned a dárková karta jde k vaší AI. V rozlišení známého od nového, se skóre z 1, dosáhl Duplex 0.996 a cache 0.930, což je rozdíl, který vypadá malý, dokud neuvidíte, kde leží: u klamně podobných požadavků.
Známé požadavky na jedné straně, nové na druhé: kdo odpovídá, musí je rozlišit.
Méně chybných odpovědí, protože to, co je nové, předá dál.
Mozek pracuje se dvěma systémy: pomalým pro obecné znalosti a rychlým pro každou novou zkušenost. Vaše AI je ten pomalý a Duplex je ten rychlý. Spojení funguje jen tehdy, když rychlý ví, kde jeho znalosti končí. Na požadavek, který se Duplex naučil, odpoví hned, bez volání modelu. Požadavek, který je nový nebo jen vypadá povědomě, jde k vaší AI, i s podklady z toho, co Duplex o případu ví, takže model začíná od kontextu vašeho týmu, a ne od nuly.
Během deseti běhů se Duplex mýlil u 7.5% zavádějících klamně podobných požadavků. Cache se na stejných požadavcích mýlila v 45.3% případů, zhruba šestkrát častěji. A Duplex si tu bezpečnost nekoupil odmítáním práce: sám odpověděl na 95.78% známých požadavků a při každém nastavení jistoty zvládl větší část známé práce a u nové práce udělal méně nebezpečných odhadů.
Počítejte správné předání vaší AI jako to, čím je, totiž správné rozhodnutí, a Duplex vyřídil správně 98.98% všech požadavků. V produkci je to číslo, které stojí za sledování: jak často každý požadavek skončí u toho, kdo by na něj měl odpovědět, a ne jak často je systém ochoten odpovídat. Systém, který odpovídá na všechno, má dobré skóre v ochotě a špatné v důvěře.
To mění, jak daleko ho můžete nechat jít. Systém, který hádá, se musí hlídat ve všem, protože kterákoli odpověď může být ta chybná. Systému, který zná své meze, se dá známá práce svěřit rovnou a to, co je nové, převezme vaše AI. Je to rozdíl mezi nováčkem, jehož každou odpověď kontrolujete, a kolegou, kterému svěříte rutinu a který se s vámi poradí, když je případ neznámý.
A hranice se posouvá. Každý výsledek, který váš tým potvrdí u nového případu, naučí Duplex ten případ, takže další podobný požadavek je zodpovězen na bližší straně, během milisekund. Vaší AI zůstává práce, kterou dělá nejlépe, to nové a těžké, a s vaším jménem odchází méně sebejistých chybných odpovědí. Systému, který ví, co ví, se dá každý týden svěřit o něco víc.
U zavádějících klamně podobných vrátila cache uloženou odpověď a mýlila se v 45.3% případů.