Bat le fine-tuning, sans aucun entraînement.
Duplex a fait se comporter un modèle figé comme s’il avait été fine-tuné, et a battu le meilleur adaptateur issu d’un balayage optimisé de LoRA, QLoRA et DoRA dans les six tests : trois jeux de données publics d’intentions sur deux familles de modèles ouverts, trois exécutions chacun.
- 6 / 6Tests où Duplex a battu un adaptateur fine-tuné+30.3 points en moyenne
- 0Réentraînement pour passer à une autre famille de modèlesLes adaptateurs ont migré dans 0 cas sur 6
- 60 à 79%Réponse tirée de ce qu’il a apprisSur l’une comme l’autre famille de modèles
Un modèle figé, adapté sans y toucher.
Étape 1 sur 5 : Figé
Devant dans les six tests.
Précision sur BANKING77, CLINC150 et HWU64, avec Qwen2.5 et SmolLM2.
Étape 1 sur 3 : Figé
Seuls, les modèles figés ont obtenu entre 11% et 49% sur les six tests.
Il continue d’apprendre en service.
À mesure que des exemples vérifiés arrivent, Duplex répond davantage lui-même, et reste juste.
Étape 1 sur 3 : 40 exemples
Après 40 exemples vérifiés, Duplex a répondu seul à 1.7% des requêtes, et toujours juste.
Là où Duplex va plus loin que le fine-tuning.
Aptitudes générales, retrait, changement de modèle et requêtes répétées, côte à côte.
Étape 1 sur 4 : Savoir général
Sur une épreuve de culture générale, Duplex a laissé le modèle inchangé dans les six tests. L’adaptateur lui a coûté de 1 à 4 points.
Comment il a été mené.
- La tâche
- Classification d’intentions : lire un message et renvoyer exactement une étiquette d’intention.
- Jeux de données
- BANKING77 (77 intentions), CLINC150 (151) et HWU64 (64), tous publics.
- Modèles
- Qwen2.5-1.5b-instruct et SmolLM2-1.7b-instruct, figés.
- Échelle
- 300 exemples d’entraînement par exécution, trois exécutions pour chaque jeu de données et famille de modèles : 18 exécutions.
- Comparé à
- Le modèle figé seul, et le meilleur adaptateur issu d’un balayage d’hyperparamètres de LoRA, QLoRA et DoRA.
- Conditions égales
- Le même modèle figé, les mêmes données, découpages, prompt et analyse des réponses pour toutes les approches.
Ce que cela signifie pour votre travail.
L’adaptation sans entraînement.
Duplex a battu l’adaptateur optimisé dans chaque test, de 30.3 points en moyenne.
Votre modèle reste votre modèle.
Ses connaissances générales sont restées inchangées, et chaque chose que Duplex a apprise peut être retirée exactement.
Changez de modèle librement.
Ce que Duplex a appris est passé à l’autre famille de modèles sans réentraînement.
Voyez-le sur votre propre travail.
De votre propre assistant à chaque agent qu’exploite votre entreprise, un pilote fait tourner Duplex sur votre propre travail, avec des indicateurs convenus avant son lancement.