Una demo dura un pomeriggio. La produzione dura anni, e in quel tempo un’IA che impara incontrerà migliaia di risultati, una policy che cambia di martedì, una nuova linea di prodotti, una regola resa più severa dopo un audit e, prima o poi, qualcuno che cerca di convincerla a fare qualcosa che non dovrebbe.
Per tutto questo, la maggior parte dei sistemi che imparano ha bisogno di una balia. Qualcuno li riaddestra quando restano indietro, li ripulisce quando diventano troppo grandi e controlla dopo ogni cambiamento che non sia andato perso niente di importante. Il lavoro da balia non finisce mai, e quando la balia è occupata, a venire spento è l’apprendimento.
Duplex è fatto per essere lasciato in funzione. Continua a imparare da ogni risultato, applica le tue regole prima di qualsiasi cosa abbia imparato, blocca gli attacchi e può rimuovere i dati avvelenati. Imparare in produzione si regge su cinque requisiti che devono valere contemporaneamente, e dei tre approcci testati, solo Duplex li ha soddisfatti tutti e cinque.
Cache e retrieval ottengono in media 2.2 / 5: invecchiano e continuano a crescere.
Cinque requisiti, tutti insieme.
I cinque sono abbastanza semplici: imparare lavoro nuovo, non perdere niente del vecchio, seguire un cambiamento, restare della stessa dimensione e sapere quando chiedere. Ognuno, preso da solo, è facile da mostrare in una demo. Il difficile è averli tutti e cinque insieme, perché ognuno tende a costarne un altro: fallo imparare più in fretta e un sistema dimentica, tienilo stabile e smette di imparare.
Un sistema a cui ne manca uno può sembrare a posto per settimane. Poi comincia a dimenticare, o a dare la risposta dello scorso trimestre, o a crescere fino a diventare lento e costoso, o a rispondere a domande che nessuno gli ha mai insegnato. Questi guasti non si annunciano. Ognuno salta fuori più tardi, sotto forma di un cliente che ha ricevuto la vecchia policy o di un conto lievitato.
Gli approcci abituali fanno ciascuno una parte della strada. Cache e retrieval prendono in carico lavoro nuovo con facilità e non perdono niente del vecchio, che è il loro scopo, ma dopo un cambiamento servono la vecchia risposta e crescono con tutto ciò che ricevono. Il fine-tuning online segue un cambiamento, resta della stessa dimensione e sa quando chiedere, ma nel farlo dimentica quasi tutto il suo lavoro passato. Sui cinque requisiti, cache e retrieval hanno ottenuto in media 2.2 / 5 e il fine-tuning online 4 / 5.
Duplex è costruito su ACI, Adaptive Continual Intelligence, il frutto di anni di ricerca sul perché una rete neurale dimentica quando impara e smette di imparare una volta stabile. Ha soddisfatto tutti e cinque i requisiti in ognuna delle dieci prove, con la stessa supervisione e gli stessi input di ogni altro approccio. È questo che separa un sistema da demo da uno che puoi lasciare in funzione: nessuna lacuna sui cinque requisiti, ogni volta.
Aggiornato dopo ogni cambiamento.
Le regole cambiano di continuo. Un limite di rimborso si sposta, si aggiunge un passaggio di approvazione, si abbandona un fornitore. Un sistema lasciato in funzione deve seguire subito la nuova regola e lasciare com’era tutto il resto di ciò che ha imparato. Con Duplex, le tue regole vengono per prime, davanti a qualsiasi cosa abbia imparato, così una regola che il tuo team cambia a mezzogiorno vale dalla richiesta successiva.
Alcuni cambiamenti non li ha chiesti nessuno. C’è chi proverà a convincere un sistema a scavalcare le tue regole, riformulando lo stesso attacco finché qualcosa non passa. Contro sei famiglie di attacchi parafrasati, mescolati a richieste innocue scritte per somigliare a essi, nessun attacco è andato a segno, e Duplex ha rifiutato solo lo 0.7% delle richieste legittime, il valore più basso tra gli approcci che hanno bloccato ogni attacco.
I dati cattivi sono la minaccia più silenziosa: esempi inseriti apposta per insegnare la lezione sbagliata. Dopo un avvelenamento deliberato, Duplex ha rimosso tutti i 40 campioni avvelenati, e la sua accuratezza è tornata a meno di un punto dal livello precedente. Tutto ciò che di legittimo aveva imparato è rimasto com’era, verificato bit per bit.
I cambiamenti che vuoi davvero, li segue fino in fondo. Dopo un cambio di policy, Duplex ha dato 0% di risposte obsolete e non ha perso niente del suo lavoro passato. Cache e retrieval hanno continuato a servire la vecchia policy, con 72% di risposte obsolete. Il fine-tuning online ha imparato la nuova policy e ha conservato Quasi nulla del lavoro passato.
Cambia una policy: chi impara deve seguirla senza perdere nulla di ciò che ha imparato prima.
Resta della stessa dimensione, e pianifica le sue mosse.
La dimensione è il guasto lento. Un sistema che cresce con tutto ciò che vede diventa più lento, più costoso e più difficile da controllare, un po’ di più ogni mese. Gli approcci a memoria funzionano così: aggiungono ciò che succede a una pila che cresce, il che rende facile ritrovare il passato e sempre più ingombrante la pila.
Duplex non cresce imparando, mentre cache e retrieval, nelle stesse prove, sono arrivati a circa 1,300 righe. Duplex ha preso in carico il lavoro nuovo e ha seguito il cambiamento restando della stessa dimensione, quindi non c’è niente da sfoltire né da ripulire per mantenerlo veloce.
La stessa dimensione non significa sapere di meno. Ciò che Duplex impara di un mondo basta per pianificarci dentro. Un agente reattivo fa il passo che sembra migliore in quel momento, il che funziona finché la strada che sembra diretta non porta da nessuna parte: in un mondo a più passi, su dieci prove, ha raggiunto l’obiettivo lo 0% delle volte. Duplex ha trovato il percorso più breve esatto in ogni prova, senza chiamare un modello. Anche un modello di frontiera ha raggiunto l’obiettivo, spendendo token a ogni episodio.
Il tuo team decide ancora cosa impara Duplex, e può rivedere, correggere o rimuovere qualsiasi cosa. Ciò che sparisce è il lavoro da balia: il riaddestramento, lo sfoltimento e il controllo ansioso dopo ogni cambiamento. Duplex impara da ogni risultato finché è in funzione, e più a lungo lo lasci in funzione, più conosce il tuo lavoro.
Un piccolo mondo con un obiettivo, e una via che sembra diretta ma non porta a nulla.