Continue d’apprendre sans oublier, se périmer ni grossir.
Un agent qui tourne pendant des mois a besoin de cinq choses à la fois : apprendre un nouveau travail, préserver l’acquis, accepter les corrections, garder une taille fixe et savoir ce qu’il n’a pas appris. Dix types de requêtes ont été appris l’un après l’autre, puis la politique a changé pour quatre d’entre eux.
- 5 / 5Exigences de l’apprentissage en production, toutes remplies à chaque exécutionCache et recherche documentaire : 2.2 / 5 en moyenne · fine-tuning en ligne : 4 / 5
- 0%Réponses périmées après un changement de politiqueCache et recherche documentaire 72%
- ConstanteEmpreinte au fil du tempsCache et recherche ont atteint ≈1,300 lignes
Cinq exigences, trois approches.
Étape 1 sur 6 : Apprend
Une correction atteint chaque formulation.
Un changement de politique, et quatre façons de demander la même chose.
Étape 1 sur 4 : Avant
Quatre formulations de la même requête : remboursement intégral pour toutes.
La même taille, quelle que soit la durée.
Combien chaque approche grossit à mesure que le travail avance.
Étape 1 sur 3 : Le début
Au départ, cache et recherche contenaient 128 lignes.
Dix tâches plus tard, il connaît encore la première.
La précision juste après l’apprentissage de chaque type de requête, et après les dix.
Étape 1 sur 2 : Juste appris
Juste après avoir appris chaque type de requête, les trois étaient précises.
Comment il a été mené.
- Le travail
- Dix types de requêtes de support client et bancaires, de la réinitialisation de mot de passe au paiement refusé, appris l’un après l’autre.
- Le test
- Chaque question formulée autrement, sur des détails absents de l’entraînement.
- Changement de politique
- Quatre des dix types sont passés à une nouvelle bonne action ; les corrections sont arrivées dans le désordre, comme un relecteur les envoie.
- Seuils de réussite
- Fixés avant l’exécution, et identiques pour toutes les approches.
- Échelle
- Une exécution principale, puis dix exécutions indépendantes dans un second dispositif.
- Comparé à
- Cache et recherche documentaire, un stockage à plus proche correspondance, à son meilleur réglage, et le fine-tuning en ligne, tous avec les mêmes entrées.
Ce que cela signifie pour votre travail.
Les corrections tiennent partout.
Après un changement de politique, Duplex n’a donné aucune réponse périmée sur aucune des dix exécutions.
L’acquis reste intact.
Tout son acquis est resté intact, exécution après exécution.
Il garde la même taille.
Duplex n’a rien ajouté à son empreinte ; un stockage mémoire a atteint environ 1,300 lignes.
Voyez-le sur votre propre travail.
De votre propre assistant à chaque agent qu’exploite votre entreprise, un pilote fait tourner Duplex sur votre propre travail, avec des indicateurs convenus avant son lancement.