Un buon neoassunto impara di continuo. Nella seconda settimana qualcuno gli dice che un certo cliente si fattura ogni trimestre, e quel cliente non riceve mai più una fattura mensile. A fine anno conosce centinaia di piccole cose come questa, e imparare l’ultima non gli ha fatto perdere nessuna delle altre.
Chiedi lo stesso a un’IA, e ciò che fa ogni buon collega diventa un problema di ricerca. Il tuo modello ha imparato il mondo in un unico lungo addestramento, e poi ciò che sapeva è rimasto fisso. Per insegnargli qualcosa di nuovo lo addestri di nuovo, e addestrarlo sul nuovo tende a consumare il vecchio. Così i team correggono le stesse risposte settimana dopo settimana, oppure aspettano la versione successiva e sperano.
Duplex impara come quel neoassunto: da ogni risultato, mentre il lavoro si svolge, e ogni nuova lezione non gli fa perdere nessuna di quelle vecchie. Inoltre si adatta man mano che il lavoro cambia, il che è ancora più difficile.
L’apprendimento continuo significa accogliere il nuovo senza perdere il vecchio.
Il nuovo e il vecchio tirano in direzioni opposte.
Il tuo lavoro continua a muoversi molto dopo che il tuo modello è stato addestrato. Lunedì arriva una correzione, mercoledì cambia una regola, e ogni giorno il tuo team conferma risultati che il modello non ha mai visto. Imparare da ognuno nel momento in cui accade è difficile, perché richiede cose che tirano in direzioni opposte.
Impara con avidità, e il nuovo scaccia il vecchio. I ricercatori lo chiamano oblio catastrofico, ed è il motivo per cui un modello addestrato sulle correzioni di questo mese può cominciare a sbagliare le risposte del mese scorso. Se invece tieni stretto ciò che sa, quello resta fermo mentre il tuo lavoro va avanti, e le risposte diventano obsolete. E qualunque cosa impari deve restare aperta al tuo team, perché una lezione sbagliata si possa correggere o rimuovere senza disturbare il resto.
Insieme formano il trilemma delle reti neurali: plasticità, stabilità e modificabilità. Una rete neurale ne ottiene due al massimo. Imparare in produzione non si accontenta di due: un sistema deve seguire un cambiamento, conservare il lavoro passato, accettare una correzione, restare veloce mentre cresce e sapere cosa non ha imparato, tutto insieme e sul lavoro vero. Duplex soddisfa tutti e cinque i requisiti, in ogni prova.
Il riaddestramento fa aspettare ogni correzione.
Gran parte di ciò che si vende come apprendimento continuo è riaddestramento continuo. Il sistema raccoglie ciò che è cambiato, riaddestra il modello, testa la nuova versione e la mette al posto della vecchia. Poi aspetta il prossimo addestramento.
Tra un addestramento e l’altro, il modello resta com’era. La correzione che il tuo team ha fatto lunedì aspetta l’addestramento, e fino ad allora lo stesso errore arriva a ogni cliente che chiede. Le risposte sono aggiornate solo quanto l’ultimo addestramento, e il tuo lavoro non aspetta il calendario di nessuno.
Ogni addestramento è un progetto a sé: una pipeline di addestramento, un cluster di acceleratori e un team per gestirli. E ogni addestramento produce un nuovo modello, che può perdere parte di ciò che sapeva il precedente.
Il fine-tuning online, che riaddestra strada facendo, corre lo stesso rischio. Dopo un cambio di policy, ha imparato il cambiamento e ha conservato Quasi nulla del suo lavoro passato. Duplex ha seguito lo stesso cambiamento con il 100% del suo lavoro passato intatto.
Lunedì il tuo team corregge una risposta sbagliata.
Duplex impara e agisce a runtime.
Duplex impara da ogni risultato nel momento in cui il tuo team lo conferma: un test superato, una revisione approvata, una correzione accettata. La richiesta successiva ne tiene già conto, e Duplex agisce in base a ciò che ha imparato, entro le tue regole: risponde, passa il lavoro o rifiuta. Non c’è nessun addestramento da aspettare, nessuna nuova versione da testare e nessun modello da sostituire.
Impara accanto alla tua IA, anziché al suo interno. I pesi del tuo modello restano come sono, e Duplex non ha bisogno di GPU. Puoi rivedere, correggere o rimuovere qualsiasi cosa abbia imparato, e tutto il resto rimane com’era. Quella terza esigenza, la modificabilità, è quella che il riaddestramento soddisfa con più fatica, perché in un modello riaddestrato nessuno può indicare una singola lezione e cambiarla.
Duplex è costruito su ACI, Adaptive Continual Intelligence: gli algoritmi e l’architettura proprietari di Vareon per un’intelligenza che impara e agisce continuamente a runtime. ACI è il frutto di anni di ricerca su quel trilemma, ed è ciò che permette a Duplex di accogliere il nuovo senza rinunciare al vecchio.
Imparare a runtime tiene anche le risposte aggiornate. Dopo un cambio di policy, Duplex ha dato 0% di risposte obsolete. Cache e retrieval, che servivano ancora ciò che avevano trovato prima del cambio, hanno dato risposte obsolete nel 72% dei casi.
Adattarsi è ancora più difficile.
Imparare una correzione è metà del lavoro. L’altra metà è adattarsi: sapere quando ciò che si è appreso vale, quando no, e cosa fare quando il lavoro cambia. Un sistema che applica ogni lezione ovunque è inutile quanto uno che non impara niente, e più pericoloso, perché sembra sicuro di sé.
Lo mostrano tre momenti. La stessa richiesta arriva con parole nuove, e Duplex la riconosce e risponde. Una richiesta sembra nota ma è nuova, come un rimborso su una gift card, e Duplex la distingue e coinvolge la tua IA, informata su ciò che sa del caso. Una regola cambia, e Duplex segue la nuova regola dalla richiesta successiva, mentre il resto di ciò che sa prosegue invariato.
Su un flusso di 3,000 decisioni in cui le regole sono cambiate cinque volte, Duplex ha avuto ragione sul 92.5% delle decisioni toccate da quei cambi. Il modello da solo, senza modo di imparare le nuove regole, sul 2.3%.
Duplex impara da ogni risultato confermato, e ci costruisce sopra.
Ogni risultato rende migliore il successivo.
Un modello migliora quando chi lo produce addestra il successivo. Succede secondo il calendario del laboratorio, per tutti nello stesso momento, e il nuovo modello arriva senza sapere niente del tuo lavoro.
Crediamo che Gli agenti miglioreranno con una seconda intelligenza al loro fianco, in un ciclo ricorsivo, a runtime. È per questo che abbiamo costruito Duplex. Un agente con Duplex al suo fianco migliora ogni giorno in cui lavora, dai propri risultati: agisce, il risultato torna, Duplex ne impara, e l’azione successiva parte da una base più ampia della precedente. Decisioni migliori portano risultati migliori, e risultati migliori insegnano di più a Duplex.
I modelli continueranno a migliorare, e vorrai il migliore. Anche il tuo lavoro continuerà a cambiare, a ogni ora di ogni giorno. Con Duplex accanto alla tua IA, l’apprendimento non è più qualcosa che capita a un modello di tanto in tanto. Diventa parte del lavoro stesso: ogni risultato insegna qualcosa a Duplex, ogni lezione si basa sulla precedente, e tutto questo viene con te al modello successivo.