Slår finjustering, uten treningskjøring.
Duplex fikk en frosset modell til å oppføre seg som om den var finjustert, og slo den beste adapteren fra en avstemt serie med LoRA, QLoRA og DoRA i alle seks testene: tre offentlige datasett for intensjoner på to åpne modellfamilier, tre kjøringer hver.
- 6 / 6Tester der Duplex slo en finjustert adapter+30.3 poeng i snitt
- 0Omtrening for å flytte til en annen modellfamilieAdapterne lot seg flytte i 0 av 6
- 60 til 79%Besvart ut fra det den har lærtPå begge modellfamiliene
En frossen modell, tilpasset uten å røre den.
Steg 1 av 5: Frosset
Foran i alle seks testene.
Nøyaktighet på BANKING77, CLINC150 og HWU64, med Qwen2.5 og SmolLM2.
Steg 1 av 3: Frosset
Alene fikk de frosne modellene mellom 11% og 49% på tvers av de seks testene.
Den fortsetter å lære i jobben.
Etter hvert som verifiserte eksempler kommer inn, svarer Duplex mer selv, og fortsetter å svare riktig.
Steg 1 av 3: 40 eksempler
Etter 40 verifiserte eksempler svarte Duplex selv på 1.7% av forespørslene, alle riktig.
Der Duplex går lenger enn finjustering.
Generelle evner, fjerning, modellbytte og gjentatte forespørsler, side om side.
Steg 1 av 4: Generell evne
På en test av allmennkunnskap lot Duplex modellen være uendret i alle seks tester. Adapteren kostet den 1 til 4 poeng.
Slik ble det kjørt.
- Oppgaven
- Intensjonsklassifisering: les en melding og returner nøyaktig én intensjonsetikett.
- Datasett
- BANKING77 (77 intensjoner), CLINC150 (151) og HWU64 (64), alle offentlige.
- Modeller
- Qwen2.5-1.5b-instruct og SmolLM2-1.7b-instruct, frosne.
- Omfang
- 300 treningseksempler per kjøring, tre kjøringer for hvert datasett og hver modellfamilie: 18 kjøringer.
- Sammenlignet med
- Den frosne modellen alene, og den beste adapteren fra et innstilt søk over LoRA, QLoRA og DoRA.
- Holdt likt
- Samme frosne modell, data, oppdelinger, prompt og tolkning av svar for alle tilnærminger.
Hva det betyr for arbeidet ditt.
Tilpasning uten treningskjøring.
Duplex slo den justerte adapteren i hver test, med 30.3 poeng i snitt.
Modellen din forblir modellen din.
Den generelle kunnskapen var uendret, og hver enkelt ting Duplex har lært, kan fjernes nøyaktig.
Bytt modell fritt.
Det Duplex hadde lært, ble flyttet til den andre modellfamilien uten omtrening.
Se det på ditt eget arbeid.
Fra din egen assistent til hver agent bedriften din kjører, setter en pilot Duplex på ditt eget arbeid, med måltallene avtalt før den starter.