Dobrý nový kolega se učí pořád. Ve druhém týdnu mu někdo zmíní, že jednomu klientovi se fakturuje čtvrtletně, a tenhle klient už nikdy nedostane měsíční fakturu. Na konci roku zná stovky podobných drobností, a když se naučil tu nejnovější, nepřišel kvůli ní o žádnou z ostatních.
Chtějte totéž po AI a z toho, co dělá každý dobrý kolega, se stane výzkumný problém. Váš model se naučil svět v jednom dlouhém trénovacím běhu a pak bylo to, co věděl, pevně dané. Abyste ho naučili něco nového, trénujete ho znovu, a trénink na novém obvykle nahlodá to staré. Týmy proto opravují stejné odpovědi týden co týden, nebo čekají na další verzi a doufají.
Duplex se učí tak jako ten nový kolega: z každého výsledku, zatímco práce probíhá, a kvůli žádné nové lekci nepřijde o žádnou ze starých. Navíc se přizpůsobuje, jak se práce mění, což je ještě těžší.
Kontinuální učení znamená přijímat nové a neztrácet přitom staré.
Nové a staré táhnou každé jinam.
Vaše práce se hýbe dál ještě dlouho poté, co byl váš model natrénován. V pondělí přijde oprava, ve středu se změní pravidlo a každý den váš tým potvrzuje výsledky, které model nikdy neviděl. Učit se z každého z nich, hned jak nastane, je těžké, protože to vyžaduje věci, které táhnou opačnými směry.
Když se systém učí horlivě, nové vytlačí staré. Výzkumníci tomu říkají katastrofické zapomínání a právě proto může model natrénovaný na opravách z tohoto měsíce začít chybovat v odpovědích z minulého měsíce. Když se naopak drží pevně, to, co umí, zůstane na místě, zatímco se vaše práce pohne dál, takže odpovědi zastarají. A cokoli se naučí, musí zůstat přístupné vašemu týmu, aby šlo chybnou lekci opravit nebo odstranit, aniž by se narušil zbytek.
Dohromady tvoří trilema neuronových sítí: plasticita, stabilita a upravitelnost. Neuronová síť zvládne nanejvýš dvě. Učení v produkci žádá víc než kterékoli dvě: systém se musí řídit změnou, zachovat si dřívější práci, přijmout opravu, zůstat rychlý, i když roste, a vědět, co se nenaučil, a to všechno najednou a na živé práci. Duplex splňuje všech pět, v každém běhu.
Přetrénování nutí každou opravu čekat.
Většina toho, co se prodává jako kontinuální učení, je kontinuální přetrénování. Systém posbírá, co se změnilo, přetrénuje model, otestuje novou verzi a nasadí ji místo staré. Pak čeká na další běh.
Mezi běhy zůstává model takový, jaký byl. Oprava, kterou váš tým udělal v pondělí, čeká na běh, a do té doby jde stejná chyba ke každému zákazníkovi, který se zeptá. Odpovědi jsou vždy jen tak aktuální jako poslední běh a vaše práce na ničí harmonogram nečeká.
Každý běh je projekt sám o sobě: trénovací pipeline, cluster akcelerátorů a tým, který je provozuje. A každý běh vytvoří nový model, který může ztratit část toho, co znal ten předchozí.
Online doladění, které přetrénovává průběžně, nese stejné riziko. Po změně zásad se změnu naučilo a zachovalo si Jen nepatrný zlomek své dřívější práce. Duplex se řídil stejnou změnou a 100% jeho dřívější práce zůstalo nedotčeno.
Váš tým v pondělí opraví chybnou odpověď.
Duplex se učí a jedná za běhu.
Duplex se učí z každého výsledku ve chvíli, kdy ho váš tým potvrdí: z testu, který prošel, ze schválené revize, z přijaté opravy. Další požadavek už to odráží a Duplex jedná podle toho, co se naučil, v rámci vašich pravidel: odpoví, předá, nebo odmítne. Nečeká se na žádný trénovací běh, netestuje se žádná nová verze a nevyměňuje se žádný model.
Učí se vedle vaší AI, a ne uvnitř ní. Váhy vašeho modelu zůstávají, jak jsou, a Duplex nepotřebuje GPU. Cokoli, co se naučil, můžete zkontrolovat, opravit nebo odstranit a vše ostatní zůstane, jak bylo. Právě tato třetí potřeba, upravitelnost, je pro přetrénování nejtěžší, protože v přetrénovaném modelu nikdo nedokáže ukázat na jednu lekci a změnit ji.
Duplex je postaven na ACI, Adaptive Continual Intelligence: proprietární algoritmy a architektura Vareon pro inteligenci, která se za běhu kontinuálně učí a jedná. ACI je výsledkem let výzkumu tohoto trilematu a právě ona umožňuje Duplexu přijmout nové, aniž by se vzdal starého.
Učení za běhu také udržuje odpovědi aktuální. Po změně zásad bylo zastaralých 0% odpovědí Duplexu. Cache a vyhledávání, které dál vydávaly to, co našly před změnou, daly zastaralé odpovědi v 72% případů.
Adaptace je ještě těžší.
Naučit se opravu je polovina práce. Druhou polovinou je adaptace: vědět, kdy naučené platí, kdy ne a co dělat, když se práce změní. Systém, který každou lekci uplatňuje všude, je stejně neužitečný jako ten, který se nenaučí nic, a nebezpečnější, protože zní sebejistě.
Ukazují to tři chvíle. Stejný požadavek přijde v nových slovech a Duplex ho pozná a odpoví. Požadavek vypadá povědomě, ale je nový, třeba refundace na dárkovou kartu, a Duplex ho rozliší a přizve vaši AI i s podklady z toho, co o případu ví. Změní se pravidlo a Duplex se od dalšího požadavku řídí tím novým, zatímco zbytek toho, co ví, funguje dál beze změny.
V proudu 3,000 rozhodnutí, během kterého se pravidla pětkrát změnila, měl Duplex pravdu u 92.5% rozhodnutí, kterých se ty změny týkaly. Samotný model, který neměl jak se nová pravidla naučit, měl pravdu u 2.3%.
Duplex se učí z každého potvrzeného výsledku a staví na něm.
Každý výsledek zlepší ten další.
Model se zlepší, když jeho tvůrce natrénuje další. To se děje podle harmonogramu laboratoře, pro všechny najednou, a nový model přichází, aniž by o vaší práci cokoli věděl.
Věříme, že Agenti se budou zlepšovat s druhou inteligencí po svém boku, v rekurzivní smyčce, za běhu. Právě proto jsme vytvořili Duplex. Agent s Duplexem po boku se zlepšuje každý den, kdy pracuje, a to ze svých vlastních výsledků: jedná, výsledek se vrátí, Duplex se z něj naučí a další akce začíná s větším základem než ta předchozí. Lepší rozhodnutí přinášejí lepší výsledky a lepší výsledky naučí Duplex víc.
Modely se budou dál zlepšovat a vy budete chtít ty nejlepší z nich. I vaše práce se bude dál měnit, každou hodinu každého dne. S Duplexem vedle vaší AI už učení není něco, co se modelu jednou za čas stane. Stává se součástí samotné práce: každý výsledek Duplex něco naučí, každá lekce staví na té předchozí a všechno to jde s vámi k dalšímu modelu.