Quasi tutti i team ricorrono al fine-tuning quando il modello continua a sbagliare le stesse cose. Classifica le domande sulla fatturazione come assistenza tecnica, scrive con un tono che il tuo brand non userebbe mai, e non coglie le eccezioni che i tuoi esperti applicano senza pensarci. Chiedono poco: un modello che risponda come se lavorasse lì da un anno.
Per ottenerlo serve un progetto di addestramento. Qualcuno raccoglie e ripulisce gli esempi, lancia uno sweep di addestramenti per trovare le impostazioni che funzionano, verifica il risultato e rilascia una nuova versione del modello. Funziona, ed è un progetto, con un budget e una tabella di marcia. Poi cambia una policy, o esce un modello migliore, e il progetto ricomincia.
Duplex ti dà ciò per cui si fa il fine-tuning, dal lavoro stesso del tuo team, e lascia il modello esattamente com’è. Ogni risultato che il tuo team conferma gli insegna qualcosa, così l’adattamento è aggiornato dalla richiesta successiva. E poiché lavora accanto al modello anziché al suo interno, l’adattamento ti segue al modello successivo.
Un fine-tuning riscrive i pesi, un modello e un addestramento alla volta.
Meglio del fine-tuning, senza ciclo di addestramento.
Il fine-tuning ha i suoi meriti. Cambia i pesi del modello, quindi il nuovo comportamento arriva con ogni chiamata, senza un lungo prompt da allegare, e per un cambiamento duraturo su un singolo modello è una scelta sensata.
Il costo sta in tutto ciò che c’è attorno al cambiamento. Ogni adattamento è un progetto a sé, e ciò che il modello ha imparato si fissa nel momento in cui l’addestramento finisce. Una regola che cambia di venerdì aspetta il prossimo addestramento, e fino ad allora il modello continua ad applicare quella vecchia.
Ciò per cui i team fanno fine-tuning è di solito il comportamento: le etichette che usano, il tono che vogliono, le decisioni che i loro esperti prendono ogni volta allo stesso modo. Duplex impara esattamente questo dal lavoro stesso: una risposta che il tuo team ha approvato, un’etichetta che qualcuno ha corretto, un’eccezione che un manager ha confermato. Chi nota un errore lo corregge, e la correzione vale dalla richiesta successiva, invece di aspettare in una cartella di esempi il prossimo progetto di addestramento.
Duplex è costruito su ACI, Adaptive Continual Intelligence, che impara e agisce a runtime e lascia stare i pesi del tuo modello. Duplex non ha bisogno di GPU, quindi non c’è nessun addestramento da pianificare, pagare o aspettare, e nessuna nuova versione del modello da rilasciare.
Messo direttamente a confronto con il fine-tuning, Duplex ne è uscito in vantaggio. In sei test, ognuno contro un adapter con fine-tuning scelto da uno sweep di addestramenti, ha adattato lo stesso modello, lasciato esattamente com’era, e ha battuto l’adapter ogni volta, di 30.3 punti in media.
Sei test: tre dataset pubblici di intenti, ognuno eseguito su due famiglie di modelli aperti.
Si sposta insieme al tuo modello.
La tua IA è intelligenza generale, imparata lentamente, come la neocorteccia: ha imparato il mondo prima che arrivassi tu, e il tuo lavoro non la cambia. Duplex è intelligenza a runtime, rapida, come l’ippocampo: impara da ogni risultato che il tuo team conferma. Il fine-tuning chiede a chi impara lento di fare il lavoro di chi impara rapido, e questo ha due costi che i team tendono a scoprire dopo.
Il primo è la correzione. In un fine-tuning ogni esempio si fonde nei pesi, il buono con il cattivo, quindi quando uno si rivela sbagliato, per esempio una risposta che citava lo sconto dell’anno scorso, non c’è niente da indicare e togliere. L’unico modo per tornare indietro è addestrare di nuovo, senza quell’esempio.
Il secondo è lo spostamento. Un fine-tuning appartiene al modello su cui è stato addestrato, quindi quando arriva un modello migliore resta indietro e il progetto ricomincia: si rilancia lo sweep, si ricontrolla il risultato, e fino ad allora il nuovo modello non sa niente del tuo lavoro.
Ciò che Duplex impara lavora accanto al modello, quindi nessuno dei due costi si applica. Puoi vedere da dove viene ogni lezione, e correggerla o rimuoverla singolarmente, mentre tutto il resto rimane com’era. Cambia il modello, e l’adattamento viene con te: quando il lavoro è passato a un’altra famiglia di modelli, Duplex non ha avuto bisogno di riaddestramento, mentre gli adapter con fine-tuning non sono passati in nessuno dei sei test.
Un esempio da cui il tuo modello ha imparato si rivela sbagliato, e va tolto.
Quando vuoi davvero addestrare, Duplex ti consegna i dati.
Alcuni lavori richiedono davvero un addestramento: un modello a cui serve una capacità che non ha, o pesi che devono funzionare da soli, su un dispositivo o dentro un prodotto che distribuisci. In quei casi, Duplex rende l’addestramento migliore.
La parte più difficile di ogni progetto di addestramento sono i dati: esempi puliti, verificati da persone che conoscono il lavoro. Il tuo team li ha confermati per tutto il tempo, nel normale corso della giornata. Duplex li prepara per il tuo team di addestramento, ognuno con la sua provenienza, e sei tu a scegliere cosa entra e cosa resta fuori.
L’addestramento, poi, non sostituisce ciò che Duplex ha imparato. Quando il nuovo modello è pronto, tutto quanto lavora al suo fianco dalla prima richiesta, ogni risultato successivo continua a insegnare a Duplex, e quando arriva il modello dopo, l’adattamento si sposta di nuovo.
L’adattamento smette di essere un progetto con un budget e una tabella di marcia, e diventa parte del lavoro. Il tuo team corregge, conferma e decide, come fa ogni giorno, e la tua IA risponde come se fosse stata addestrata su tutto questo. Il modello resta una scelta che puoi cambiare in qualsiasi momento, e l’adattamento diventa qualcosa che possiedi.