En bra nyanställd lär sig hela tiden. Under andra veckan nämner någon att en viss kund faktureras kvartalsvis, och den kunden får aldrig mer en månadsfaktura. Vid årets slut kan den nyanställda hundratals sådana små saker, och att lära sig den senaste har inte kostat någon av de andra.
Begär samma sak av en AI, så blir det som varje bra kollega gör ett forskningsproblem. Din modell lärde sig världen i en enda lång träningskörning, och sedan låstes det den kunde. För att lära den något nytt tränar du om den, och träning på det nya tenderar att nöta bort det gamla. Därför rättar team samma svar vecka efter vecka, eller väntar på nästa version och hoppas.
Duplex lär sig så som den nyanställda gör: av varje resultat, medan arbetet pågår, och varje ny lärdom kostar den ingen av de gamla. Den anpassar sig också när arbetet förändras, vilket är ännu svårare.
Kontinuerlig inlärning innebär att ta in det nya utan att förlora det gamla.
Det nya och det gamla drar åt olika håll.
Ditt arbete fortsätter att röra sig långt efter att din modell tränades. En rättelse kommer in på måndagen, en regel ändras på onsdagen, och varje dag bekräftar ditt team resultat som modellen aldrig har sett. Att lära sig av vart och ett av dem medan det händer är svårt, eftersom det kräver saker som drar åt motsatta håll.
Lär man sig ivrigt tränger det nya ut det gamla. Forskare kallar det katastrofal glömska, och det är därför en modell som tränats på den här månadens korrigeringar kan börja svara fel på det den kunde förra månaden. Håller man i stället hårt fast ligger det den kan still medan ditt arbete går vidare, så svaren blir inaktuella. Och vad den än lär sig måste förbli öppet för ditt team, så att en felaktig lärdom kan rättas eller tas bort utan att resten störs.
Tillsammans bildar de neurala nätverks trilemma: plasticitet, stabilitet och redigerbarhet. Ett neuralt nätverk får i bästa fall två. Lärande i produktion kräver mer än två av dem: ett system måste följa en ändring, behålla sitt tidigare arbete, ta emot en korrigering, förbli snabbt medan det växer och veta vad det inte har lärt sig, allt på en gång och på skarpt arbete. Duplex uppfyller alla fem, i varje körning.
Omträning får varje rättelse att vänta.
Det mesta som säljs som kontinuerlig inlärning är kontinuerlig omträning. Systemet samlar in det som har ändrats, tränar om modellen, testar den nya versionen och byter in den. Sedan väntar det på nästa körning.
Mellan körningarna förblir modellen som den var. Rättelsen som ditt team gjorde på måndagen väntar på körningen, och fram till dess går samma misstag ut till varje kund som frågar. Svaren är aldrig mer aktuella än den senaste körningen, och ditt arbete väntar inte på någons schema.
Varje körning är ett projekt i sig: en träningspipeline, ett kluster av acceleratorer och ett team som sköter dem. Och varje körning ger en ny modell, som kan tappa en del av det den förra kunde.
Löpande finjustering, som tränar om allteftersom, löper samma risk. Efter en policyändring lärde den sig ändringen och behöll Nästan inget av sitt tidigare arbete. Duplex följde samma ändring med 100% av sitt tidigare arbete intakt.
Ditt team rättar ett felaktigt svar på måndag.
Duplex lär sig och agerar under körning.
Duplex lär sig av varje resultat i samma stund som ditt team bekräftar det: ett test som gick igenom, en granskning som godkändes, en korrigering som accepterades. Nästa förfrågan speglar det redan, och Duplex agerar på det den har lärt sig, inom dina regler: den svarar, lämnar över eller avböjer. Det finns ingen träningskörning att vänta på, ingen ny version att testa och ingen modell att byta in.
Den lär sig bredvid din AI, snarare än inuti den. Din modells vikter förblir som de är, och Duplex behöver ingen GPU. Du kan granska, korrigera eller ta bort allt den har lärt sig, och allt annat förblir som det var. Det tredje behovet, redigerbarhet, är det som omträning har svårast med, eftersom ingen i en omtränad modell kan peka ut en enskild lärdom och ändra den.
Duplex är byggd på ACI, Adaptive Continual Intelligence: Vareons proprietära algoritmer och arkitektur för intelligens som lär sig och agerar kontinuerligt under körning. ACI är resultatet av år av forskning om det trilemmat, och det är den som låter Duplex ta in det nya utan att ge upp det gamla.
Lärande under körning håller också svaren aktuella. Efter en policyändring var 0% av svaren från Duplex inaktuella. Cache och hämtning, som fortfarande levererade det de hade hittat före ändringen, gav inaktuella svar i 72% av fallen.
Anpassning är ännu svårare.
Att lära sig en rättelse är halva jobbet. Den andra halvan är att anpassa sig: att veta när det inlärda gäller, när det inte gör det och vad man ska göra när arbetet förändras. Ett system som tillämpar varje lärdom överallt är till lika liten hjälp som ett som inte lär sig något, och farligare, eftersom det låter säkert på sin sak.
Tre ögonblick visar det. Samma förfrågan kommer med nya ord, och Duplex känner igen den och svarar. En förfrågan ser bekant ut men är ny, som en återbetalning på ett presentkort, och Duplex skiljer ut den och tar in din AI, informerad om det Duplex vet om fallet. En regel ändras, och Duplex följer den nya regeln från nästa förfrågan, medan resten av det den vet fortsätter oförändrat.
I ett flöde av 3,000 beslut där reglerna ändrades fem gånger hade Duplex rätt i 92.5% av de beslut som ändringarna påverkade. Modellen ensam, utan något sätt att lära sig de nya reglerna, hade rätt i 2.3%.
Duplex lär sig av varje bekräftat resultat och bygger vidare på det.
Varje resultat gör nästa bättre.
En modell blir bättre när dess utvecklare tränar nästa. Det sker enligt labbets schema, för alla på en gång, och den nya modellen kommer utan att veta något om ditt arbete.
Vi tror att Agenter kommer att bli bättre med en andra intelligens bredvid sig, i en rekursiv slinga, under körning. Det är därför vi byggde Duplex. En agent med Duplex bredvid sig blir bättre varje dag den arbetar, av sina egna resultat: den agerar, resultatet kommer tillbaka, Duplex lär sig av det, och nästa handling börjar från mer än den förra gjorde. Bättre beslut ger bättre resultat, och bättre resultat lär Duplex mer.
Modellerna kommer att fortsätta bli bättre, och du kommer att vilja ha den bästa av dem. Ditt arbete kommer också att fortsätta förändras, varje timme, varje dag. Med Duplex bredvid din AI är lärande inte längre något som händer en modell då och då. Det blir en del av själva arbetet: varje resultat lär Duplex något, varje lärdom bygger på den förra, och allt följer med dig till nästa modell.