La plupart des équipes se tournent vers le fine-tuning quand le modèle se trompe sans cesse sur les mêmes choses. Il classe les questions de facturation dans le support technique, écrit sur un ton que votre marque n’emploierait jamais, et passe à côté des exceptions que vos experts appliquent sans y penser. Ce qu’elles veulent est modeste : un modèle qui réponde comme s’il travaillait chez vous depuis un an.
Pour y arriver, il faut un projet d’entraînement. Quelqu’un collecte et nettoie des exemples, lance un balayage d’entraînements pour trouver les réglages qui marchent, vérifie le résultat et livre une nouvelle version du modèle. Cela fonctionne, et c’est un projet, avec un budget et un calendrier. Puis une politique change, ou un meilleur modèle sort, et le projet recommence.
Duplex vous donne ce qu’on attend du fine-tuning, à partir du travail même de votre équipe, et laisse le modèle exactement tel qu’il est. Chaque résultat que votre équipe confirme lui sert de leçon, si bien que l’adaptation est à jour dès la requête suivante. Et comme il fonctionne aux côtés du modèle plutôt qu’en lui, l’adaptation vous suit vers le prochain.
Un fine-tuning réécrit les poids, un modèle et un entraînement à la fois.
Mieux que le fine-tuning, sans aucun entraînement.
Le fine-tuning mérite sa place. Il modifie les poids du modèle, si bien que le nouveau comportement accompagne chaque appel, sans long prompt à envoyer avec, et pour changer durablement un modèle, c’est un choix judicieux.
Le coût tient à tout ce qui entoure le changement. Chaque adaptation est un projet à part entière, et ce que le modèle a appris est figé au moment où l’entraînement se termine. Une règle qui change un vendredi attend le prochain entraînement, et d’ici là, le modèle continue d’appliquer l’ancienne.
Ce que les équipes cherchent à obtenir par le fine-tuning, c’est en général un comportement : les étiquettes qu’elles utilisent, le ton qu’elles veulent, les décisions que leurs experts prennent toujours de la même façon. Duplex apprend exactement cela du travail lui-même : une réponse que votre équipe a approuvée, une étiquette que quelqu’un a corrigée, une exception qu’un manager a confirmée. La personne qui repère une erreur la corrige, et le correctif s’applique dès la requête suivante, au lieu d’attendre dans un dossier d’exemples le prochain projet d’entraînement.
Duplex est bâti sur ACI, Adaptive Continual Intelligence, qui apprend et agit à l’exécution et laisse les poids de votre modèle intacts. Duplex n’a besoin d’aucun GPU, si bien qu’il n’y a ni entraînement à planifier, à payer ou à attendre, ni nouvelle version du modèle à livrer.
Opposé directement au fine-tuning, Duplex est sorti gagnant. Dans six tests, chacun face à un adaptateur fine-tuné choisi parmi un balayage d’entraînements, il a adapté le même modèle, laissé exactement tel quel, et battu l’adaptateur à chaque fois, de 30.3 points en moyenne.
Six tests : trois corpus publics d’intentions, chacun lancé sur deux familles de modèles ouverts.
L’adaptation suit quand vous changez de modèle.
Votre IA est l’intelligence générale, apprise lentement, comme le néocortex : elle a appris le monde avant votre arrivée, et votre travail ne la change pas. Duplex est l’intelligence d’exécution, rapide, comme l’hippocampe : il apprend de chaque résultat que votre équipe confirme. Le fine-tuning demande à l’apprenant lent de faire le travail du rapide, et cela a deux coûts que les équipes découvrent souvent plus tard.
Le premier, c’est la correction. Chaque exemple d’un fine-tuning se fond dans les poids, le bon avec le mauvais, si bien que lorsqu’un exemple s’avère faux, disons une réponse qui citait la remise de l’an dernier, il n’y a rien à désigner et à retirer. Pour revenir en arrière, il faut entraîner de nouveau, sans lui.
Le second, c’est le changement de modèle. Un fine-tuning appartient au modèle sur lequel il a été entraîné, si bien que lorsqu’un meilleur modèle arrive, il reste derrière et le projet repart de zéro : le balayage est relancé, le résultat revérifié, et d’ici là, le nouveau modèle ne sait rien de votre travail.
Ce que Duplex apprend fonctionne aux côtés du modèle, si bien qu’aucun de ces deux coûts ne s’applique. Vous voyez d’où vient chaque leçon, et pouvez la corriger ou la retirer isolément, pendant que tout le reste demeure tel quel. Changez de modèle, et l’adaptation vous suit : quand le travail est passé à une autre famille de modèles, Duplex n’a eu besoin d’aucun réentraînement, alors que les adaptateurs fine-tunés n’ont migré dans aucun des six tests.
Un exemple dont votre modèle a appris s’avère faux, et doit être retiré.
Quand vous voulez vraiment entraîner, Duplex fournit les données.
Certains travaux exigent bel et bien un entraînement : un modèle qui a besoin d’une capacité qu’il n’a pas, ou des poids qui doivent tourner seuls, sur un appareil ou dans un produit que vous livrez. Pour ceux-là, Duplex améliore l’entraînement.
La partie la plus difficile de tout projet d’entraînement, ce sont les données : des exemples propres, vérifiés par des gens qui connaissent le travail. Votre équipe confirme exactement ceux-là depuis le début, dans le cours ordinaire de ses journées. Duplex les prépare pour votre équipe d’entraînement, chacun avec sa provenance, et vous choisissez ce qui entre et ce qui reste dehors.
L’entraînement ne remplace pas non plus ce que Duplex a appris. Quand le nouveau modèle est prêt, tout cela fonctionne à ses côtés dès la première requête, chaque résultat qui suit continue d’instruire Duplex, et quand le modèle suivant arrive, l’adaptation migre à nouveau.
L’adaptation cesse d’être un projet avec un budget et un calendrier, et devient une partie du travail. Votre équipe corrige, confirme et décide, comme chaque jour, et votre IA répond comme si elle avait été entraînée sur tout cela. Le modèle reste un choix que vous pouvez changer à tout moment, et l’adaptation devient quelque chose qui vous appartient.