We wtorek w południe twój zespół finansowy zmienia zasadę: od teraz zwroty powyżej £75 wymagają zatwierdzenia przez kierownika. Prośba o zwrot, która przychodzi pięć po dwunastej, wiele mówi o tym, jak twoja firma korzysta z AI.
Jeśli każde zapytanie trafia do modelu, odpowiedź stosuje nową zasadę tylko wtedy, gdy ktoś już dodał ją do promptu, a ty płacisz pełną cenę za decyzję, którą twój zespół podejmuje przez cały dzień. Jeśli twój system ponownie używa odpowiedzi, których udzielił wcześniej, zapytanie nie kosztuje prawie nic, a zwrot przechodzi bez zatwierdzenia, którego wymaga nowa zasada. Jeśli trenujesz model od nowa na nowej polityce, odpowiedź będzie trafna po następnym treningu, kiedykolwiek to nastąpi.
Od tej odpowiedzi chcesz trzech rzeczy. Trafna oznacza odpowiedź, jakiej udzieliłby twój zespół, z twoimi zasadami i twoimi wyjątkami. Aktualna oznacza, że stosuje zasadę w obecnym brzmieniu, od chwili, gdy się zmienia. Przystępna cenowo oznacza, że decyzja, którą twój zespół rozstrzygnął dawno temu, nie kosztuje pełnego wywołania modelu za każdym razem, gdy wraca.
Każde ze znanych podejść osiąga najwyżej dwie z trzech, a ceną jest ta trzecia. Duplex osiąga wszystkie trzy na tej samej pracy, bo uczy się z każdego wyniku w trakcie pracy.
Wywołuj model za każdym razem, a ma rację w 59.8% przypadków i za każdą decyzję płacisz.
Wywoływanie modelu za każdym razem to płacenie znów za to samo myślenie.
Wywoływanie modelu przy każdym zapytaniu to naturalny punkt wyjścia i to z dobrego powodu. Model wnosi język, wiedzę i rozumowanie do niemal każdego pytania, radzi sobie z rzeczami, których nigdy nie widział, i staje się lepszy za każdym razem, gdy jego twórca wyda nową wersję.
Tyle że za każdym razem zaczyna od zera. Zwrot dokładnie taki jak wczorajszy jest rozpatrywany od podstaw i opłacany ponownie, więc rachunek rośnie z użyciem i nigdy nie maleje, gdy praca staje się znajoma. A model zna zasady twojego zespołu tylko wtedy, gdy ktoś wyśle je razem z zapytaniem: pomiń jedną, a zdecyduje według tego, co wiedział wcześniej.
W najlepszym razie wywoływanie modelu za każdym razem jest więc trafne i aktualne, pod warunkiem że każda korekta podróżuje z każdym zapytaniem, i nigdy nie jest tanie. Pilnowanie, żeby korekty podróżowały, to osobna praca: ktoś musi zauważyć każdą zmianę, dodać ją do każdego promptu, który jej potrzebuje, i usunąć zasadę, którą zastąpiła.
W strumieniu 3,000 decyzji, w którym zasady zmieniły się pięć razy, sam model osiągnął 59.8% dokładności, a w decyzjach objętych tymi zmianami tylko 2.3%. Ponieważ nikt nie dołączał nowych zasad, dalej stosował stare i przy tym płacił za niemal każdą decyzję.
Decyzja trafia do modelu, który rozwiązuje ją od zera, a wywołanie jest płatne.
Cache jest tani, dopóki nie zmienią się zasady.
Cache to oczywista odpowiedź na rachunek. Gdy zapytanie wygląda jak takie, na które już odpowiedziano, zwraca zapisaną odpowiedź i pomija wywołanie modelu. Przy znajomej pracy jest szybki, tani i, dopóki nic się nie zmienia, trafny.
Cache wie, o co pytano i co odpowiedziano, ale nie wie dlaczego. Gdy zasada się zmienia, nic mu nie mówi, których jego odpowiedzi dotknęła zmiana, a zapytania wyglądają tak samo jak wcześniej. Więc dalej podaje stare odpowiedzi, z pewnością siebie, dopóki ktoś ręcznie nie znajdzie i nie usunie każdej nieaktualnej.
W najlepszym razie cache jest tani i trafny w tym, co już widział: dwie z trzech, a ceną jest aktualność. W tym samym teście przyszło tę cenę zapłacić. Cache podniósł ogólną dokładność do 77.3%, a w decyzjach objętych zmianą zasady spadł do 42.6%.
Duplex uczy się decyzji, a nie odpowiedzi: zasady, która za nią stoi, tego, dlaczego była trafna, i tego, gdzie ma zastosowanie. Gdy zasada się zmienia, od następnego zapytania stosuje nową, a wszystko inne, czego się nauczył, zostaje tak, jak było. W decyzjach objętych zmianą Duplex miał rację w 92.5% przypadków.
Przed zmianą zasad cache odpowiada na znane zapytania poprawnie i tanio.
Duplex osiąga wszystkie trzy.
Duplex to druga inteligencja obok twojego modelu AI i zmienia to, kto co robi. Na decyzje, które twój zespół już rozstrzygnął, Duplex odpowiada sam, w milisekundach i bez wywołania modelu. To, co nowe, trafia do twojej AI, z kontekstem tego, co Duplex wie o sprawie, a gdy twój zespół potwierdzi wynik, Duplex uczy się także z niego.
Każdy wierzchołek wynika z uczenia się w trakcie pracy. Odpowiedzi są trafne, bo Duplex nauczył się ich z wyników potwierdzonych przez twój zespół. Są aktualne, bo zmiana obowiązuje od następnego zapytania, podczas gdy ponowne trenowanie czekałoby na następny trening. I są przystępne cenowo, bo decyzja, której Duplex się nauczył, nie wymaga wywołania modelu, więc im więcej się uczy, tym mniej kosztuje każde zapytanie.
W tych samych 3,000 decyzji Duplex obok tego samego modelu osiągnął 94.6% dokładności, najwięcej w teście, przy o 90.3% mniejszej liczbie wywołań modelu niż sam model i o 84.8% niższym koszcie. Cache wykonał jeszcze mniej wywołań, ale zapłacił za to nieaktualnymi odpowiedziami, gdy zasada się zmieniła.
Wybór między trafnością, aktualnością i przystępną ceną nigdy nie był prawem natury. Wziął się z podejść, które myślą od nowa za każdym razem, nigdy nie myślą od nowa albo myślą od nowa tylko wtedy, gdy przychodzi pora na trening. Inteligencja, która uczy się z każdego wyniku, nie musi wybierać: wie, co twój zespół rozstrzygnął, nadąża za tym, co się zmieniło, a twój model dostaje zapłatę tylko za to, co nowe.