Continua a imparare senza dimenticare, diventare obsoleto o crescere.
Un agente che resta in funzione per mesi ha bisogno di cinque cose insieme: imparare lavoro nuovo, conservare il lavoro passato, accettare correzioni, restare di taglia fissa e sapere cosa non ha imparato. Dieci tipi di richiesta sono stati imparati uno dopo l’altro, poi la policy è cambiata per quattro di essi.
- 5 / 5Requisiti per l’apprendimento in produzione, tutti soddisfatti in ogni esecuzioneCache e retrieval in media 2.2 / 5 · fine-tuning online 4 / 5
- 0%Risposte obsolete dopo un cambio di policyCache e retrieval 72%
- CostanteIngombro nel tempoCache e retrieval cresciuti a ≈1,300 righe
Cinque requisiti, tre approcci.
Passaggio 1 su 6: Impara
Una correzione arriva a ogni formulazione.
Un cambio di policy, e quattro modi di chiedere la stessa cosa.
Passaggio 1 su 4: Prima
Quattro formulazioni della stessa richiesta, tutte risolte con un rimborso totale.
La stessa dimensione, per quanto a lungo lavori.
Quanto cresce ogni approccio mentre il lavoro prosegue.
Passaggio 1 su 3: L’inizio
All’inizio, cache e retrieval contenevano 128 righe.
Dieci compiti dopo, conosce ancora il primo.
L’accuratezza subito dopo aver appreso ogni tipo di richiesta, e dopo tutti e dieci.
Passaggio 1 su 2: Appena appreso
Subito dopo aver imparato ogni tipo di richiesta, tutti e tre erano accurati.
Come è stato condotto.
- Il lavoro
- Dieci tipi di richiesta di assistenza clienti e bancari, dal reset della password ai pagamenti rifiutati, appresi uno dopo l’altro.
- Il test
- Ogni domanda formulata in modo nuovo, su dettagli non visti nell’addestramento.
- Cambio di policy
- Quattro dei dieci tipi sono passati a una nuova azione giusta; le correzioni sono arrivate in ordine sparso, come le invia un revisore.
- Soglie di superamento
- Fissate prima dell’esecuzione, e uguali per ogni approccio.
- Scala
- Un’esecuzione principale, poi dieci esecuzioni indipendenti in una seconda configurazione.
- Confrontato con
- Cache e retrieval, un archivio con ricerca della corrispondenza più vicina nella sua regolazione migliore, e fine-tuning online, tutti con gli stessi input.
Cosa significa per il tuo lavoro.
Le correzioni reggono ovunque.
Dopo un cambio di policy, Duplex non ha dato risposte obsolete in nessuna delle dieci esecuzioni.
Il lavoro passato resta intatto.
Ha portato con sé tutto il suo lavoro passato, prova dopo prova.
Resta della stessa dimensione.
Duplex non ha aggiunto nulla al suo ingombro; un archivio di memoria è cresciuto fino a circa 1,300 righe.
Vedilo all’opera sul tuo lavoro.
Dal tuo assistente a ogni agente che fa girare la tua azienda, un progetto pilota fa girare Duplex sul tuo lavoro, con le metriche concordate prima di iniziare.