Zamrożony model, dostosowany bez ingerencji w niego.
Krok 1 z 5: Zamrożony
Wygrywa z dostrajaniem, bez treningu.
Duplex sprawił, że zamrożony model zachowywał się tak, jakby był dostrojony, i we wszystkich sześciu testach pokonał najlepszy adapter z dopracowanej serii LoRA, QLoRA i DoRA: trzy publiczne zbiory danych intencji na dwóch otwartych rodzinach modeli, po trzy przebiegi.
- 6 / 6Testy, w których Duplex pokonał dostrojony adapterŚrednio +30.3 punktu
- 0Ponowne trenowanie przy przejściu do innej rodziny modeliAdaptery przeszły w 0 z 6
- Od 60 do 79%Odpowiedź z tego, czego się nauczyłNa obu rodzinach modeli
Na prowadzeniu we wszystkich sześciu testach.
Dokładność na BANKING77, CLINC150 i HWU64, na Qwen2.5 i SmolLM2.
Krok 1 z 3: Zamrożony
Same zamrożone modele uzyskały w sześciu testach od 11% do 49%.
Uczy się dalej w trakcie pracy.
W miarę napływu zweryfikowanych przykładów Duplex sam odpowiada na coraz więcej i nadal odpowiada poprawnie.
Krok 1 z 3: 40 przykładów
Po 40 zweryfikowanych przykładach Duplex sam odpowiedział na 1.7% zapytań, na wszystkie poprawnie.
Gdzie Duplex idzie dalej niż dostrajanie.
Ogólne zdolności, usuwanie, zmiana modelu i powtarzane zapytania, obok siebie.
Krok 1 z 4: Ogólna sprawność
Przy sprawdzianie wiedzy ogólnej Duplex zostawił model bez zmian we wszystkich sześciu testach. Adapter kosztował go od 1 do 4 punktów.
Jak go przeprowadzono.
- Zadanie
- Klasyfikacja intencji: przeczytaj wiadomość i zwróć dokładnie jedną etykietę intencji.
- Zbiory danych
- BANKING77 (77 intencji), CLINC150 (151) i HWU64 (64), wszystkie publiczne.
- Modele
- Qwen2.5-1.5b-instruct i SmolLM2-1.7b-instruct, zamrożone.
- Skala
- 300 przykładów treningowych na przebieg, trzy przebiegi dla każdego zbioru danych i rodziny modeli: 18 przebiegów.
- Porównywane z
- Sam zamrożony model oraz najlepszy adapter z dostrojonego przeglądu ustawień LoRA, QLoRA i DoRA.
- Jednakowe warunki
- Ten sam zamrożony model, dane, podziały, prompt i parsowanie odpowiedzi dla każdego podejścia.
Co to oznacza dla twojej pracy.
Adaptacja bez treningu.
Duplex pokonał dostrojony adapter w każdym teście, średnio o 30.3 punktu.
Twój model pozostaje twoim modelem.
Ogólna wiedza modelu pozostała niezmieniona, a każdą pojedynczą rzecz, której nauczył się Duplex, można dokładnie usunąć.
Zmieniaj modele swobodnie.
To, czego nauczył się Duplex, przeszło do drugiej rodziny modeli bez ponownego trenowania.
Zobacz to na własnej pracy.
Od twojego własnego asystenta po każdego agenta, którego uruchamia twoja firma: pilotaż uruchamia Duplex na twojej własnej pracy, ze wskaźnikami uzgodnionymi przed startem.