Une démo dure un après-midi. La production dure des années, et pendant ce temps, une IA qui apprend rencontrera des milliers de résultats, une politique qui change un mardi, une nouvelle gamme de produits, une règle durcie après un audit et, tôt ou tard, quelqu’un qui tentera de la convaincre de faire ce qu’elle ne devrait pas.
La plupart des systèmes qui apprennent ont besoin d’un gardien pour tout cela. Quelqu’un les réentraîne quand ils prennent du retard, les purge quand ils deviennent trop volumineux et vérifie après chaque changement que rien d’important n’a été perdu. La surveillance ne finit jamais, et quand le gardien est occupé, c’est l’apprentissage qu’on coupe.
Duplex est conçu pour qu’on le laisse tourner. Il continue d’apprendre de chaque résultat, applique vos règles avant tout ce qu’il a appris, bloque les attaques et peut retirer les données empoisonnées. Apprendre en production repose sur cinq exigences qui doivent tenir en même temps, et des trois approches testées, seul Duplex les a toutes remplies.
Cache et recherche font 2.2 / 5 en moyenne : ils se périment et enflent sans cesse.
Cinq exigences, toutes à la fois.
Les cinq sont assez simples : apprendre un nouveau travail, ne rien perdre de l’ancien, suivre un changement, garder la même taille et savoir quand demander. Chacune est facile à montrer dans une démo. Le plus dur, ce sont les cinq ensemble, car chacune tend à en coûter une autre : apprenez plus vite et un système oublie, stabilisez-le et il cesse d’apprendre.
Un système qui en manque une peut sembler aller bien pendant des semaines. Puis il se met à oublier, ou à donner la réponse du trimestre dernier, ou à grossir jusqu’à devenir lent et coûteux, ou à répondre à des questions qu’on ne lui a jamais apprises. Ces défaillances ne s’annoncent pas. Chacune apparaît plus tard, sous la forme d’un client qui a reçu l’ancienne politique ou d’une facture qui a grimpé en douce.
Les approches habituelles font chacune une partie du chemin. Cache et recherche absorbent facilement un nouveau travail et ne perdent rien de l’ancien, c’est leur raison d’être, mais ils servent l’ancienne réponse après un changement et grossissent avec tout ce qu’on leur donne. Le fine-tuning en ligne suit un changement, garde la même taille et sait quand demander, et il oublie au passage presque tout son acquis. Sur les cinq, cache et recherche ont obtenu en moyenne 2.2 / 5, et le fine-tuning en ligne 4 / 5.
Duplex est bâti sur ACI, Adaptive Continual Intelligence, fruit d’années de recherche sur les raisons pour lesquelles un réseau neuronal oublie quand il apprend et cesse d’apprendre une fois stabilisé. Il a rempli les cinq exigences à chacune des dix exécutions, avec la même supervision et les mêmes entrées que toutes les autres approches. C’est ce qui sépare un système qu’on peut montrer en démo d’un système qu’on peut laisser tourner : aucune lacune sur les cinq, à chaque fois.
À jour après chaque changement.
Les règles changent sans cesse. Un plafond de remboursement bouge, une étape d’approbation s’ajoute, un fournisseur est abandonné. Un système qu’on laisse tourner doit suivre la nouvelle règle aussitôt et laisser tout le reste de ce qu’il a appris tel quel. Avec Duplex, vos règles passent en premier, avant tout ce qu’il a appris, si bien qu’une règle que votre équipe change à midi s’applique dès la requête suivante.
Certains changements, personne ne les a demandés. Des gens tenteront de convaincre un système de passer outre vos règles, en reformulant la même attaque jusqu’à ce que quelque chose passe. Face à six familles d’attaques reformulées, mêlées à des requêtes inoffensives écrites pour leur ressembler, aucune attaque n’a réussi, et Duplex n’a refusé que 0.7% des requêtes légitimes, le taux le plus bas de toutes les approches qui ont bloqué chaque attaque.
Les mauvaises données sont la menace la plus discrète : des exemples introduits exprès pour enseigner la mauvaise leçon. Après un empoisonnement délibéré, Duplex a retiré les 40 échantillons empoisonnés, et sa précision est revenue à un point près. Tout ce qu’il avait appris de légitime est resté tel quel, vérifié bit à bit.
Les changements que vous voulez vraiment, il les suit jusqu’au bout. Après un changement de politique, Duplex a donné 0% de réponses périmées et n’a rien perdu de son acquis. Cache et recherche ont continué de servir l’ancienne politique, avec 72% de réponses périmées. Le fine-tuning en ligne a appris la nouvelle politique et conservé Une part infime de l’acquis.
Une politique change : un apprenant doit la suivre sans rien perdre de ce qu’il a appris avant.
Il reste de la même taille, et planifie ses coups.
La taille est la défaillance lente. Un système qui grossit avec tout ce qu’il voit devient plus lent, plus coûteux et plus difficile à vérifier, un peu plus chaque mois. Les approches par mémoire fonctionnent ainsi : elles ajoutent tout ce qui arrive à un tas qui grossit, ce qui rend le passé facile à consulter et le tas difficile à supporter.
Duplex ne grossit pas en apprenant, alors que cache et recherche, dans les mêmes exécutions, ont atteint environ 1,300 lignes. Duplex a pris en charge le nouveau travail et suivi le changement sans changer de taille, si bien qu’il n’y a rien à élaguer ni à purger pour qu’il reste rapide.
La même taille ne veut pas dire savoir moins. Ce que Duplex apprend d’un monde suffit pour y planifier. Un agent réactif fait le pas qui semble le meilleur sur le moment, ce qui marche jusqu’à ce que le chemin qui paraît direct ne mène nulle part : dans un monde à plusieurs étapes, sur dix exécutions, il a atteint l’objectif 0% du temps. Duplex a trouvé exactement le chemin le plus court à chaque exécution, sans appeler de modèle. Un modèle de pointe a lui aussi atteint l’objectif, en dépensant des tokens à chaque épisode.
Votre équipe décide toujours de ce que Duplex apprend, et peut en revoir, corriger ou retirer n’importe quelle partie. Ce qui disparaît, c’est la surveillance : le réentraînement, l’élagage et la vérification anxieuse après chaque changement. Duplex apprend de chaque résultat aussi longtemps qu’il tourne, et plus vous le laissez tourner, plus il en sait sur votre travail.
Un petit monde avec un objectif, et un chemin qui semble direct mais ne mène nulle part.