Dobry nowy pracownik uczy się cały czas. W drugim tygodniu ktoś wspomina, że jeden klient jest rozliczany kwartalnie, i ten klient już nigdy nie dostaje miesięcznej faktury. Pod koniec roku zna setki takich drobiazgów, a nauczenie się ostatniego nie odebrało mu żadnego z pozostałych.
Oczekuj tego samego od AI, a to, co robi każdy dobry współpracownik, staje się problemem badawczym. Twój model nauczył się świata w jednym długim treningu, a potem to, co wiedział, zostało ustalone raz na zawsze. Żeby nauczyć go czegoś nowego, trenujesz go ponownie, a trening na nowym zwykle ściera stare. Więc zespoły poprawiają te same odpowiedzi tydzień po tygodniu albo czekają na następną wersję z nadzieją.
Duplex uczy się tak jak ten nowy pracownik: z każdego wyniku, w trakcie pracy, a każda nowa lekcja nie kosztuje go żadnej ze starych. Dostosowuje się też, gdy praca się zmienia, a to jest jeszcze trudniejsze.
Uczenie ciągłe oznacza przyswajanie nowego bez utraty starego.
Nowe i stare ciągną w przeciwne strony.
Twoja praca toczy się dalej długo po tym, jak twój model został wytrenowany. W poniedziałek wchodzi poprawka, w środę zmienia się zasada, a każdego dnia twój zespół potwierdza wyniki, których model nigdy nie widział. Uczenie się z każdego z nich na bieżąco jest trudne, bo wymaga rzeczy, które ciągną w przeciwne strony.
Ucz się zachłannie, a nowe wyprze stare. Badacze nazywają to katastrofalnym zapominaniem i właśnie dlatego model wytrenowany na korektach z tego miesiąca może zacząć mylić się w odpowiedziach, które w zeszłym miesiącu były dobre. Trzymaj się kurczowo tego, co jest, a to, co system wie, stanie w miejscu, podczas gdy twoja praca pójdzie dalej, więc odpowiedzi się zestarzeją. A wszystko, czego system się uczy, musi pozostać otwarte dla twojego zespołu, żeby błędną lekcję można było poprawić albo usunąć bez naruszania reszty.
Razem tworzą one trylemat sieci neuronowych: plastyczność, stabilność i edytowalność. Sieć neuronowa osiąga najwyżej dwie z nich. Uczenie się na produkcji wymaga więcej niż dowolnych dwóch: system musi nadążać za zmianą, zachować wcześniejszą pracę, przyjąć korektę, pozostać szybkim, gdy rośnie, i wiedzieć, czego się nie nauczył, wszystko naraz i na żywej pracy. Duplex spełnia wszystkie pięć warunków, w każdym przebiegu.
Ponowne trenowanie każe czekać każdej poprawce.
Większość tego, co sprzedaje się jako uczenie ciągłe, to ciągłe ponowne trenowanie. System zbiera to, co się zmieniło, trenuje model od nowa, testuje nową wersję i podmienia starą. Potem czeka na następny trening.
Między treningami model pozostaje taki, jaki był. Poprawka, którą twój zespół wprowadził w poniedziałek, czeka na trening, a do tego czasu ten sam błąd trafia do każdego klienta, który zapyta. Odpowiedzi są zawsze tylko tak aktualne jak ostatni trening, a twoja praca nie czeka na niczyj harmonogram.
Każdy trening to osobny projekt: potok treningowy, klaster akceleratorów i zespół, który to obsługuje. A każdy trening tworzy nowy model, który może stracić część tego, co wiedział poprzedni.
Dostrajanie online, które trenuje na bieżąco, niesie to samo ryzyko. Po zmianie polityki nauczyło się zmiany i zachowało Prawie nic wcześniejszej pracy. Duplex nadążył za tą samą zmianą, a 100% jego wcześniejszej pracy pozostało nietknięte.
W poniedziałek twój zespół poprawia złą odpowiedź.
Duplex uczy się i działa na bieżąco.
Duplex uczy się z każdego wyniku w chwili, gdy twój zespół go potwierdza: zaliczonego testu, zatwierdzonego przeglądu, przyjętej korekty. Następne zapytanie już to uwzględnia, a Duplex działa na podstawie tego, czego się nauczył, w ramach twoich zasad: odpowiada, przekazuje albo odmawia. Nie trzeba czekać na trening, testować nowej wersji ani podmieniać modelu.
Uczy się obok twojej AI, a nie w niej. Wagi twojego modelu pozostają bez zmian, a Duplex nie potrzebuje GPU. Możesz przejrzeć, poprawić albo usunąć wszystko, czego się nauczył, a cała reszta zostaje tak, jak była. Ta trzecia potrzeba, edytowalność, jest dla ponownego trenowania najtrudniejsza, bo w ponownie wytrenowanym modelu nikt nie jest w stanie wskazać pojedynczej lekcji i jej zmienić.
Duplex jest zbudowany na ACI, Adaptive Continual Intelligence: autorskie algorytmy i architektura Vareon dla inteligencji, która uczy się i działa ciągle, na bieżąco. ACI to owoc lat badań nad tym trylematem i to dzięki niej Duplex przyjmuje nowe, nie rezygnując ze starego.
Uczenie się w działaniu utrzymuje też aktualność odpowiedzi. Po zmianie polityki 0% odpowiedzi Duplex było nieaktualnych. Cache i wyszukiwanie, wciąż podające to, co znalazły przed zmianą, dawały nieaktualne odpowiedzi w 72% przypadków.
Adaptacja jest jeszcze trudniejsza.
Nauczenie się poprawki to połowa pracy. Druga połowa to adaptacja: wiedza, kiedy to, czego się nauczono, ma zastosowanie, kiedy nie i co robić, gdy praca się zmienia. System, który stosuje każdą lekcję wszędzie, jest równie nieprzydatny jak taki, który niczego się nie uczy, i groźniejszy, bo brzmi pewnie siebie.
Pokazują to trzy sytuacje. To samo zapytanie przychodzi w nowych słowach, a Duplex je rozpoznaje i odpowiada. Zapytanie wygląda znajomo, ale jest nowe, jak zwrot na kartę podarunkową, a Duplex je odróżnia i włącza twoją AI, z kontekstem tego, co wie o sprawie. Zmienia się zasada, a Duplex stosuje nową od następnego zapytania, podczas gdy reszta tego, co wie, działa dalej bez zmian.
W strumieniu 3,000 decyzji, w którym zasady zmieniły się pięć razy, Duplex miał rację w 92.5% decyzji objętych tymi zmianami. Sam model, bez możliwości nauczenia się nowych zasad, miał rację w 2.3%.
Duplex uczy się z każdego potwierdzonego wyniku i na nim buduje.
Każdy wynik poprawia następny.
Model staje się lepszy, gdy jego twórca wytrenuje następny. Dzieje się to według harmonogramu laboratorium, dla wszystkich naraz, a nowy model przychodzi, nie wiedząc nic o twojej pracy.
Wierzymy, że Agenci będą stawać się lepsi z drugą inteligencją u swojego boku, w rekurencyjnej pętli, w działaniu. To dlatego zbudowaliśmy Duplex. Agent z Duplex u boku staje się lepszy każdego dnia pracy, dzięki własnym wynikom: działa, wynik wraca, Duplex się z niego uczy, a następne działanie zaczyna z wyższego pułapu niż poprzednie. Lepsze decyzje przynoszą lepsze wyniki, a lepsze wyniki uczą Duplex więcej.
Modele będą się poprawiać, a ty zechcesz korzystać z najlepszego. Twoja praca też będzie się zmieniać, każdej godziny każdego dnia. Z Duplex obok twojej AI uczenie się nie jest już czymś, co od czasu do czasu przydarza się modelowi. Staje się częścią samej pracy: każdy wynik czegoś uczy Duplex, każda lekcja buduje na poprzedniej, a wszystko to idzie z tobą do następnego modelu.