Due clienti scrivono la stessa mattina. “Posso riavere i miei soldi per questo?” È una domanda sui rimborsi che il tuo team ha risolto da tempo. “Posso riavere i miei soldi per questa gift card?” Si legge quasi uguale, e richiede una risposta diversa, perché le gift card danno diritto a credito in negozio, non a contanti.
Qualsiasi cosa risponda in base alla somiglianza tratta i due casi come uno solo. Il secondo cliente riceve la policy sui rimborsi, data con la stessa sicurezza del primo, e niente lo segnala, perché niente sembrava sbagliato. Una risposta giusta ma lenta ti costa un minuto. Una risposta sbagliata data con sicurezza esce con il tuo nome sopra, e lo scopri dal reclamo, oppure non lo scopri mai.
Duplex sa ciò che sa. Risponde a ciò che ha imparato, comunque sia formulata la richiesta, e sa riconoscere quando una richiesta sembra soltanto nota. Quella va alla tua IA, informata su ciò che Duplex sa del caso. Il rischio sta proprio sul confine tra le due, e Duplex lo traccia in modo molto più netto di una cache.
Una richiesta che Duplex ha appreso riceve subito risposta.
I casi simili solo in apparenza sono quelli difficili.
Le richieste non sono solo note o nuove. Alcune ripetono parola per parola un caso che il tuo team ha già risolto. Altre sono lo stesso caso con parole nuove: “Vorrei un rimborso per questo, per favore.” Altre sembrano soltanto note, come quella sulla gift card: lo stesso argomento, quasi tutte le stesse parole, e una differenza che cambia la risposta. Più in là ci sono richieste chiaramente nuove, come un rimborso per un ordine diviso in due, e alcune di tutt’altro campo.
I due estremi sono facili. A una ripetizione esatta si può rispondere come si è deciso la volta prima, e una richiesta di un altro campo è facile da mettere da parte. Il rischio sta nel mezzo, dove una richiesta è abbastanza vicina da passare per nota e abbastanza diversa perché la vecchia risposta sia sbagliata. Quella zona di mezzo conta di più ogni anno, perché oggi sempre più risposte si trasformano direttamente in azioni: quando un agente agisce su un caso simile, la risposta sbagliata diventa un rimborso sbagliato, e nessuno la legge prima.
Gli strumenti abituali fanno bene ciascuno una parte del lavoro. Una regola scritta a mano è precisa su ciò che nomina: intercetta “gift card” e si lascia sfuggire “buono regalo”. Una cache risponde all’istante a una ripetizione esatta, quasi a costo zero. Il retrieval va oltre e trova ciò che sembra simile, il che dà alla tua IA un contesto utile. Tutti e tre si basano sulla superficie di una richiesta, quindi il caso simile riceve la vecchia risposta, servita con la stessa sicurezza della vera ripetizione.
Duplex impara da cosa dipende una decisione, oltre alle parole con cui è arrivata. Così risponde alla stessa richiesta formulata con parole nuove, e si accorge quando una richiesta dall’aria nota differisce proprio nel punto che conta. A “vorrei un rimborso per questo, per favore” risponde subito, e la gift card va alla tua IA. Con un punteggio su 1 per la capacità di distinguere il noto dal nuovo, Duplex ha raggiunto 0.996 e una cache 0.930, un divario che sembra piccolo finché non vedi dove cade: sui casi simili.
Richieste note da una parte, nuove dall’altra: chi risponde deve distinguerle.
Meno risposte sbagliate, perché sul nuovo passa la mano.
Il cervello lavora con due sistemi: uno lento per la conoscenza generale, e uno rapido per ogni nuova esperienza. La tua IA è quello lento, e Duplex è quello rapido. La coppia funziona solo se quello rapido sa dove finisce la sua conoscenza. A una richiesta che Duplex ha imparato si risponde subito, senza chiamata al modello. Una richiesta nuova, o che sembra soltanto nota, va alla tua IA, informata su ciò che Duplex sa del caso, così il modello parte dal contesto del tuo team anziché da zero.
Su dieci prove, Duplex ha sbagliato sul 7.5% dei casi simili ingannevoli. Una cache, sulle stesse richieste, ha sbagliato nel 45.3% dei casi, circa sei volte più spesso. E Duplex non ha comprato quella sicurezza rifiutando lavoro: ha risposto da solo al 95.78% delle richieste note, e a ogni impostazione di confidenza ha gestito una parte maggiore del lavoro noto e ha azzardato meno risposte rischiose sul lavoro nuovo.
Considera per ciò che è un passaggio corretto alla tua IA, cioè la scelta giusta, e Duplex ha gestito correttamente il 98.98% di tutte le richieste. In produzione, è questo il numero da tenere d’occhio: quanto spesso ogni richiesta finisce a chi dovrebbe risponderle, non quanto spesso un sistema è disposto a rispondere. Un sistema che risponde a tutto prende un bel voto in disponibilità e un brutto voto in affidabilità.
Questo cambia fin dove puoi lasciarlo andare da solo. Un sistema che tira a indovinare va sorvegliato su tutto, perché qualsiasi risposta potrebbe essere quella sbagliata. A un sistema che conosce i propri limiti si può affidare il lavoro noto senza riserve, lasciando alla tua IA ciò che è nuovo. È la differenza tra un neoassunto di cui controlli ogni risposta e un collega a cui affidi la routine, e che ti consulta quando un caso non gli è familiare.
E il confine si sposta. Ogni risultato che il tuo team conferma su un caso nuovo insegna quel caso a Duplex, così alla richiesta successiva dello stesso tipo si risponde dal lato noto, in millisecondi. La tua IA tiene il lavoro che fa meglio, il nuovo e il difficile, e meno risposte sbagliate date con sicurezza escono con il tuo nome sopra. A un sistema che sa ciò che sa si può affidare un po’ di più ogni settimana.
Sui casi simili ingannevoli, una cache ha dato la risposta salvata, con 45.3% di errori.