Blijft leren zonder te vergeten, te verouderen of te groeien.
Een agent die maandenlang draait, heeft vijf dingen tegelijk nodig: nieuw werk leren, eerder werk behouden, correcties aannemen, een vaste omvang houden en weten wat hij niet heeft geleerd. Tien soorten verzoeken werden na elkaar geleerd, daarna veranderde het beleid voor vier ervan.
- 5 / 5Eisen voor leren in productie, allemaal gehaald in elke runCache en retrieval gemiddeld 2.2 / 5 · online fine-tuning 4 / 5
- 0%Verouderde antwoorden na een beleidswijzigingCache en retrieval 72%
- ConstantOmvang in de loop van de tijdCache en retrieval groeiden tot ≈1,300 rijen
Vijf eisen, drie aanpakken.
Stap 1 van 6: Leert
Een correctie bereikt elke formulering.
Één beleidswijziging, en vier manieren om hetzelfde te vragen.
Stap 1 van 4: Vooraf
Vier bewoordingen van hetzelfde verzoek, alle beantwoord met volledige restitutie.
Dezelfde omvang, hoe lang het ook draait.
Hoeveel elke aanpak groeit naarmate het werk doorgaat.
Stap 1 van 3: Het begin
Aan het begin bevatten cache en retrieval 128 rijen.
Tien taken later kent het de eerste nog.
Nauwkeurigheid direct na het leren van elk soort verzoek, en na alle tien.
Stap 1 van 2: Net geleerd
Direct na het leren van elk verzoektype waren alle drie nauwkeurig.
Hoe het is uitgevoerd.
- Het werk
- Tien soorten verzoeken uit klantenservice en bankieren, van wachtwoordresets tot geweigerde betalingen, na elkaar geleerd.
- De test
- Elke vraag in nieuwe bewoording, over details die niet in de training voorkwamen.
- Beleidswijziging
- Vier van de tien soorten kregen een nieuwe juiste actie; correcties kwamen in willekeurige volgorde binnen, zoals een reviewer ze stuurt.
- Slaagnormen
- Vooraf vastgesteld, en gelijk voor elke aanpak.
- Omvang
- Één hoofdrun, daarna tien onafhankelijke runs in een tweede opzet.
- Vergeleken met
- Cache en retrieval, een opslag op basis van de dichtstbijzijnde match, optimaal afgesteld, en online fine-tuning, allemaal met dezelfde invoer.
Wat het betekent voor je werk.
Correcties houden overal stand.
Na een beleidswijziging gaf Duplex in geen van de tien runs verouderde antwoorden.
Eerder werk blijft intact.
Het nam al zijn eerdere werk mee, run na run.
Het blijft even groot.
Duplex voegde niets toe aan zijn omvang; een geheugenopslag groeide tot ongeveer 1,300 rijen.
Zie het in je eigen werk.
Van je eigen assistent tot elke agent die je bedrijf draait: een pilot zet Duplex in op je eigen werk, met vooraf afgesproken maatstaven.