Sei tipi di richiesta, da familiari a del tutto nuove.
Passaggio 1 su 7: Come prima
Gestisce le formulazioni nuove, e riconosce i casi simili solo in apparenza.
Dopo aver imparato dieci tipi di richiesta, Duplex ha risposto in qualsiasi formulazione e ha passato alla tua IA quasi tutto ciò che non conosceva. Le richieste arrivavano a sei livelli, dalla formulazione nota ai casi simili costruiti per ingannarlo e alle richieste da un altro ambito.
- 7.5%Risposte sbagliate su richieste simili solo in apparenzaUna cache 45.3%, circa 6× di più
- 98.98%Delle richieste gestite correttamente: con risposta giusta, o passate alla tua IADuplex ha risolto da sé il 95.78% delle richieste note
- 0.996Punteggio nel distinguere il familiare dal nuovo, su 1Una cache 0.930
I casi simili solo in apparenza vanno alla tua IA.
Su ogni 100 richieste che mescolano due richieste apprese, quante hanno avuto una risposta sbagliata.
Passaggio 1 su 3: Una cache
Una cache semantica risponde con la cosa più vicina che ha salvato, e sbaglia il 45.3% dei casi simili.
Risponde a ciò che sa, e passa il resto.
Il lavoro noto risolto, quello nuovo passato avanti, e quanto bene ogni approccio li distingue.
Passaggio 1 su 3: Lavoro noto
Duplex ha risposto da solo al 95.78% delle richieste note, contro l’86.44% di una cache.
Più lavoro tuo, senza errori commessi con sicurezza.
Il massimo che ogni approccio ha potuto risolvere da sé senza commettere alcun errore con sicurezza.
Passaggio 1 su 2: Lavoro noto
Senza ammettere errori ad alta confidenza, Duplex poteva risolvere da sé il 94.8% del lavoro noto, contro il 59.8% di una cache.
Come è stato condotto.
- Il lavoro
- Dieci tipi di richiesta di assistenza clienti e bancari, con 48 formulazioni di esempio ciascuno.
- Sei livelli
- Formulata come prima, su qualcosa di nuovo, in una frase nuova, un caso simile solo in apparenza che mescola due richieste apprese, un tipo mai appreso, e un altro dominio.
- Punteggio
- Una richiesta passata avanti conta come gestita; rispondere a una che andava passata avanti conta come errore.
- Scala
- Un’esecuzione principale, poi dieci esecuzioni indipendenti in una seconda configurazione.
- Confrontato con
- Una cache semantica e un classificatore con fine-tuning online, con gli stessi esempi.
- Condizioni uguali
- L’impostazione di ogni approccio scelta su un set di validazione separato con la stessa regola, mai sul set di test.
Cosa significa per il tuo lavoro.
Risposte economiche di cui ti puoi fidare.
Duplex ha risolto da sé il 95.78% del lavoro noto, e ha passato alla tua IA quasi tutti i casi simili solo in apparenza.
Una formulazione nuova resta lavoro familiare.
Riformulate, ricostruite o su dettagli nuovi, le richieste apprese hanno avuto risposta, e risposta giusta.
Ciò che non è familiare va alla tua IA.
I nuovi tipi di richiesta e gli altri domini sono stati passati avanti quasi ogni volta: al 3.2% è stata data comunque una risposta.
Vedilo all’opera sul tuo lavoro.
Dal tuo assistente a ogni agente che fa girare la tua azienda, un progetto pilota fa girare Duplex sul tuo lavoro, con le metriche concordate prima di iniziare.