Een bevroren model, aangepast zonder het aan te raken.
Stap 1 van 5: Bevroren
Verslaat fine-tuning, zonder trainingsrun.
Duplex liet een bevroren model zich gedragen alsof het was gefinetuned, en versloeg de beste adapter uit een getunede sweep van LoRA, QLoRA en DoRA in alle zes tests: drie openbare datasets voor intentherkenning op twee open modelfamilies, elk drie runs.
- 6 / 6Tests waarin Duplex een gefinetunede adapter versloegGemiddeld +30.3 punten
- 0Hertraining om naar een andere modelfamilie over te stappenDe adapters gingen in 0 van de 6 mee
- 60 tot 79%Beantwoord uit wat het heeft geleerdOp beide modelfamilies
Voorop in alle zes tests.
Nauwkeurigheid op BANKING77, CLINC150 en HWU64, met Qwen2.5 en SmolLM2.
Stap 1 van 3: Bevroren
Op zichzelf scoorden de bevroren modellen tussen 11% en 49% over de zes tests.
Het blijft leren tijdens het werk.
Naarmate er geverifieerde voorbeelden binnenkomen, beantwoordt Duplex meer zelf, en blijft het juist.
Stap 1 van 3: 40 voorbeelden
Na 40 geverifieerde voorbeelden beantwoordde Duplex 1.7% van de verzoeken zelf, allemaal correct.
Waar Duplex verder gaat dan fine-tuning.
Algemeen vermogen, verwijderen, van model wisselen en herhaalde verzoeken, naast elkaar.
Stap 1 van 4: Algemeen vermogen
Bij een toets op algemene kennis liet Duplex het model in alle zes tests ongewijzigd. De adapter kostte het 1 tot 4 punten.
Hoe het is uitgevoerd.
- De taak
- Intentclassificatie: lees een bericht en geef precies één intentlabel terug.
- Datasets
- BANKING77 (77 intents), CLINC150 (151) en HWU64 (64), allemaal openbaar.
- Modellen
- Qwen2.5-1.5b-instruct en SmolLM2-1.7b-instruct, bevroren.
- Omvang
- 300 trainingsvoorbeelden per run, drie runs voor elke dataset en modelfamilie: 18 runs.
- Vergeleken met
- Het bevroren model op zichzelf, en de beste adapter uit een afgestelde sweep van LoRA, QLoRA en DoRA.
- Gelijk gehouden
- Hetzelfde bevroren model, dezelfde data, splits, prompt en antwoordverwerking voor elke aanpak.
Wat het betekent voor je werk.
Aanpassing zonder trainingsrun.
Duplex versloeg de afgestelde adapter in elke test, met gemiddeld 30.3 punten.
Je model blijft je model.
Zijn algemene kennis bleef ongewijzigd, en elk afzonderlijk ding dat Duplex leerde, kan exact worden verwijderd.
Wissel vrij van model.
Wat Duplex had geleerd, ging zonder hertraining over naar de andere modelfamilie.
Zie het in je eigen werk.
Van je eigen assistent tot elke agent die je bedrijf draait: een pilot zet Duplex in op je eigen werk, met vooraf afgesproken maatstaven.