Demo trwa jedno popołudnie. Produkcja trwa latami, a w tym czasie AI, która się uczy, zetknie się z tysiącami wyników, polityką, która zmienia się we wtorek, nową linią produktów, zasadą zaostrzoną po audycie i prędzej czy później z kimś, kto spróbuje ją namówić do czegoś, czego nie powinna robić.
Większość systemów, które się uczą, potrzebuje do tego wszystkiego opiekuna. Ktoś trenuje je od nowa, gdy zostają w tyle, czyści je, gdy za bardzo się rozrosną, i po każdej zmianie sprawdza, czy nie zginęło nic ważnego. Opieka nigdy się nie kończy, a gdy opiekun jest zajęty, wyłącza się właśnie uczenie.
Duplex jest zbudowany tak, by można go było zostawić uruchomionego. Dalej uczy się z każdego wyniku, stosuje twoje zasady przed wszystkim, czego się nauczył, blokuje ataki i potrafi usunąć zatrute dane. Uczenie się na produkcji opiera się na pięciu wymaganiach, które muszą być spełnione jednocześnie, a z trzech przetestowanych podejść tylko Duplex spełnił wszystkie pięć.
Cache i wyszukiwanie mają średnio 2.2 / 5: tracą aktualność i stale rosną.
Pięć wymagań naraz.
Te pięć wymagań brzmi dość prosto: uczyć się nowej pracy, nie tracić nic ze starej, nadążać za zmianą, zachować ten sam rozmiar i wiedzieć, kiedy zapytać. Każde z nich z osobna łatwo pokazać w demo. Trudne jest spełnienie wszystkich pięciu naraz, bo każde zwykle odbywa się kosztem innego: przyspiesz naukę, a system zapomina, ustabilizuj go, a przestaje się uczyć.
System, który nie spełnia jednego z nich, może przez tygodnie wyglądać dobrze. Potem zaczyna zapominać albo podawać odpowiedź z zeszłego kwartału, albo rozrastać się, aż staje się wolny i kosztowny, albo odpowiadać na pytania, których nigdy go nie nauczono. Te awarie nie dają o sobie znać zawczasu. Każda wychodzi na jaw później, jako klient, który dostał starą politykę, albo rachunek, który po cichu urósł.
Zwykłe podejścia przechodzą tylko część drogi. Cache i wyszukiwanie łatwo przyjmują nową pracę i nie tracą nic ze starej, bo do tego służą, ale po zmianie podają starą odpowiedź i rosną z każdą rzeczą, którą dostaną. Dostrajanie online nadąża za zmianą, zachowuje ten sam rozmiar i wie, kiedy zapytać, ale przy okazji zapomina prawie całą wcześniejszą pracę. W pięciu wymaganiach cache i wyszukiwanie uzyskały średnio 2.2 / 5, a dostrajanie online 4 / 5.
Duplex jest zbudowany na ACI, Adaptive Continual Intelligence, owocu lat badań nad tym, dlaczego sieć neuronowa zapomina, gdy się uczy, i przestaje się uczyć, gdy jest stabilna. Spełnił wszystkie pięć wymagań w każdym z dziesięciu przebiegów, przy tym samym nadzorze i tych samych danych wejściowych co każde inne podejście. To właśnie odróżnia system, który da się pokazać w demo, od takiego, który można zostawić uruchomionego: żadnych luk w pięciu wymaganiach, za każdym razem.
Aktualny po każdej zmianie.
Zasady zmieniają się cały czas. Limit zwrotów się przesuwa, dochodzi krok zatwierdzania, dostawca wypada z listy. System zostawiony w działaniu musi od razu stosować nową zasadę, a wszystko inne, czego się nauczył, zostawić tak, jak było. Z Duplex twoje zasady są na pierwszym miejscu, przed wszystkim, czego się nauczył, więc zasada, którą twój zespół zmienia w południe, obowiązuje od następnego zapytania.
Niektórych zmian nikt nie zamawiał. Ludzie będą próbować namówić system do obejścia twoich zasad, przeformułowując ten sam atak, aż coś przejdzie. W starciu z sześcioma rodzinami sparafrazowanych ataków, wymieszanych z nieszkodliwymi zapytaniami napisanymi tak, by je przypominały, nie powiódł się żaden atak, a Duplex odrzucił tylko 0.7% uprawnionych zapytań, najmniej ze wszystkich podejść, które zablokowały każdy atak.
Złe dane to cichsze zagrożenie: przykłady podsunięte celowo, żeby nauczyć złej lekcji. Po celowym zatruciu Duplex usunął wszystkie 40 zatrutych próbek, a jego dokładność wróciła niemal do dawnego poziomu, z różnicą poniżej jednego punktu. Wszystko prawidłowe, czego się nauczył, zostało nietknięte, co sprawdzono bit po bicie.
Za zmianami, których chcesz, nadąża w pełni. Po zmianie polityki Duplex dał 0% nieaktualnych odpowiedzi i nie stracił nic z wcześniejszej pracy. Cache i wyszukiwanie dalej podawały starą politykę, z 72% nieaktualnych odpowiedzi. Dostrajanie online nauczyło się nowej polityki i zachowało Prawie nic wcześniejszej pracy.
Polityka się zmienia: uczeń musi się do niej dostosować, nie tracąc niczego, czego nauczył się wcześniej.
Zachowuje ten sam rozmiar i planuje swoje ruchy.
Rozmiar to powolna awaria. System, który rośnie z każdą rzeczą, którą widzi, staje się wolniejszy, droższy i trudniejszy do sprawdzenia, z każdym miesiącem trochę bardziej. Tak działają podejścia oparte na pamięci: dorzucają to, co się dzieje, do rosnącej sterty, dzięki czemu przeszłość łatwo przeszukać, ale ze stertą trudno żyć.
Duplex nie rośnie, gdy się uczy, podczas gdy cache i wyszukiwanie w tych samych przebiegach urosły do około 1,300 wierszy. Duplex przyjął nową pracę i nadążył za zmianą przy tym samym rozmiarze, więc nie ma czego przycinać ani czyścić, żeby działał szybko.
Ten sam rozmiar nie oznacza, że wie mniej. To, czego Duplex uczy się o danym świecie, wystarcza, by w nim planować. Agent reaktywny robi krok, który w danej chwili wygląda najlepiej, i to działa, dopóki droga, która wygląda na prostą, nie prowadzi donikąd: w wieloetapowym świecie w dziesięciu przebiegach dotarł do celu w 0% przypadków. Duplex w każdym przebiegu znalazł dokładnie najkrótszą ścieżkę, bez wywoływania modelu. Czołowy model także dotarł do celu, zużywając tokeny w każdym epizodzie.
Twój zespół nadal decyduje, czego uczy się Duplex, i może przejrzeć, poprawić albo usunąć każdą z tych rzeczy. Znika za to opieka: ponowne trenowanie, przycinanie i nerwowe sprawdzanie po każdej zmianie. Duplex uczy się z każdego wyniku tak długo, jak działa, a im dłużej go zostawisz uruchomionego, tym więcej twojej pracy zna.
Mały świat z celem i drogą, która wygląda na prostą, ale prowadzi donikąd.