En god nyansatt lærer hele tiden. I den andre uken nevner noen at én kunde faktureres kvartalsvis, og den kunden får aldri en månedlig faktura igjen. Ved utgangen av året kan den nyansatte hundrevis av slike små ting, og den siste lærdommen har ikke gått på bekostning av noen av de andre.
Be en KI om det samme, og det enhver god kollega gjør, blir et forskningsproblem. Modellen din lærte verden i én lang treningskjøring, og deretter var det den visste, låst. For å lære den noe nytt trener du den på nytt, og trening på det nye har en tendens til å slite bort det gamle. Så teamene retter de samme svarene uke etter uke, eller venter på neste versjon og håper.
Duplex lærer slik den nyansatte gjør: av hvert resultat, mens arbeidet pågår, og ingen ny lærdom går på bekostning av de gamle. Den tilpasser seg også når arbeidet endrer seg, og det er enda vanskeligere.
Kontinuerlig læring betyr å ta inn det nye uten å miste det gamle.
Det nye og det gamle trekker hver sin vei.
Arbeidet ditt fortsetter å bevege seg lenge etter at modellen din ble trent. En rettelse rulles ut på mandag, en regel endres på onsdag, og hver dag bekrefter teamet ditt resultater modellen aldri har sett. Å lære av hvert av dem idet det skjer, er vanskelig, fordi det krever ting som trekker i hver sin retning.
Lær ivrig, og det nye skyver ut det gamle. Forskere kaller det katastrofal glemsel, og det er grunnen til at en modell trent på denne månedens rettelser kan begynne å bomme på svarene fra forrige måned. Hold heller hardt fast, og det den vet, blir stående mens arbeidet ditt går videre, så svarene blir utdaterte. Og uansett hva den lærer, må det være åpent for teamet ditt, slik at en feil lærdom kan rettes eller fjernes uten å forstyrre resten.
Til sammen utgjør dette trilemmaet i nevrale nett: plastisitet, stabilitet og redigerbarhet. Et nevralt nett får i beste fall to. Læring i produksjon krever mer enn to av dem: et system må følge en endring, beholde sitt tidligere arbeid, ta imot en rettelse, holde seg raskt mens det vokser og vite hva det ikke har lært, alt på én gang og på arbeid i drift. Duplex oppfyller alle fem, i hver kjøring.
Omtrening får hver rettelse til å vente.
Mesteparten av det som selges som kontinuerlig læring, er kontinuerlig omtrening. Systemet samler det som har endret seg, trener modellen på nytt, tester den nye versjonen og bytter den inn. Så venter det på neste kjøring.
Mellom kjøringene forblir modellen som den var. Rettelsen teamet ditt gjorde på mandag, venter på kjøringen, og til da går den samme feilen ut til hver kunde som spør. Svarene er aldri mer oppdaterte enn den siste kjøringen, og arbeidet ditt venter ikke på noens tidsplan.
Hver kjøring er et prosjekt i seg selv: et treningsoppsett, en klynge med akseleratorer og et team til å drifte dem. Og hver kjøring lager en ny modell, som kan miste noe av det den forrige visste.
Løpende finjustering, som trener på nytt underveis, har den samme risikoen. Etter en policyendring lærte den endringen og beholdt Nesten ingenting av sitt tidligere arbeid. Duplex fulgte den samme endringen med 100% av sitt tidligere arbeid intakt.
Teamet ditt retter et feil svar på mandag.
Duplex lærer og handler under kjøring.
Duplex lærer av hvert resultat etter hvert som teamet ditt bekrefter det: en bestått test, en godkjent gjennomgang, en akseptert rettelse. Neste forespørsel gjenspeiler det allerede, og Duplex handler på det den har lært, innenfor reglene dine: den svarer, overleverer eller avviser. Det finnes ingen treningskjøring å vente på, ingen ny versjon å teste og ingen modell å bytte inn.
Den lærer ved siden av KI-en din, i stedet for inne i den. Vektene i modellen din forblir som de er, og Duplex trenger ingen GPU. Du kan gå gjennom, rette eller fjerne hva som helst av det den har lært, og alt annet forblir som det var. Det tredje behovet, redigerbarhet, er det omtrening har vanskeligst for, fordi ingen kan peke på én enkelt lærdom i en modell som er trent om, og endre den.
Duplex er bygget på ACI, Adaptive Continual Intelligence: Vareons proprietære algoritmer og arkitektur for intelligens som lærer og handler kontinuerlig under kjøring. ACI er resultatet av år med forskning på dette trilemmaet, og det er den som lar Duplex ta inn det nye uten å gi slipp på det gamle.
Læring under kjøring holder også svarene oppdaterte. Etter en policyendring var 0% av svarene fra Duplex utdaterte. Cache og gjenfinning, som fortsatt leverte det de hadde funnet før endringen, ga utdaterte svar 72% av gangene.
Tilpasning er enda vanskeligere.
Å lære en rettelse er halve jobben. Den andre halvdelen er å tilpasse seg: å vite når det som er lært, gjelder, når det ikke gjør det, og hva som skal gjøres når arbeidet endrer seg. Et system som bruker hver lærdom overalt, er like lite til hjelp som et som ikke lærer noe, og farligere, fordi det høres sikkert ut.
Tre øyeblikk viser det. Den samme forespørselen kommer med nye ord, og Duplex kjenner den igjen og svarer. En forespørsel ser kjent ut, men er ny, som en refusjon på et gavekort, og Duplex gjennomskuer den og henter inn KI-en din, orientert med det den vet om saken. En regel endres, og Duplex følger den nye regelen fra neste forespørsel, mens resten av det den vet, fortsetter uendret.
I en strøm på 3,000 beslutninger der reglene endret seg fem ganger, hadde Duplex rett i 92.5% av beslutningene endringene påvirket. Modellen alene, uten noen mulighet til å lære de nye reglene, hadde rett i 2.3%.
Duplex lærer av hvert bekreftet resultat, og bygger videre på det.
Hvert resultat gjør det neste bedre.
En modell blir bedre når produsenten trener den neste. Det skjer etter labens tidsplan, for alle på én gang, og den nye modellen kommer uten å vite noe om arbeidet ditt.
Vi tror Agenter vil bli bedre med en andre intelligens ved siden av seg, i en rekursiv sløyfe, under kjøring. Det er derfor vi bygde Duplex. En agent med Duplex ved siden av seg blir bedre for hver dag den arbeider, av sine egne resultater: den handler, resultatet kommer tilbake, Duplex lærer av det, og neste handling starter fra mer enn den forrige gjorde. Bedre beslutninger gir bedre resultater, og bedre resultater lærer Duplex mer.
Modellene vil fortsette å bli bedre, og du vil ønske deg den beste av dem. Arbeidet ditt vil også fortsette å endre seg, hver time hver dag. Med Duplex ved siden av KI-en din er læring ikke lenger noe som skjer med en modell nå og da. Det blir en del av selve arbeidet: hvert resultat lærer Duplex noe, hver lærdom bygger på den forrige, og alt sammen blir med deg til neste modell.