Co miesiąc rachunek za model jest trochę wyższy, choć nic złego się nie stało. Więcej osób w twoim zespole korzysta z asystenta, więcej agentów pracuje przez całą noc, a każdy z nich wywołuje model. Tak wycenia się inteligencję wynajętą: za wywołanie. Im więcej robi dla ciebie twoja AI, tym więcej płacisz, a sukces wychodzi na rachunku jako koszt.
Spójrz, do czego służyły te wywołania, a zobaczysz, że wciąż wraca ta sama praca: pytanie o zwrot, które twój zespół wsparcia rozstrzygnął wiosną, wybór trasy, który za każdym razem kieruje jeden rodzaj zgłoszenia do tej samej kolejki, wyjątek, który kierownik finansów wyjaśnił raz, a model od tamtej pory wypracowuje go od nowa. Twoja AI rozwiązuje każdą z tych spraw od zera i liczy pełną cenę, za setnym razem tyle samo, co za pierwszym.
Duplex to zmienia. To druga inteligencja obok twojego modelu AI, która uczy się decyzji, jakie w twojej pracy zapadają wciąż od nowa. Każda decyzja, której się nauczy, nie wymaga już płatnego wywołania modelu, więc im dłużej Duplex działa, tym mniej kosztuje każda decyzja. A ponieważ uczy się z wyników, które potwierdza twój zespół, coraz więcej tych decyzji wypada trafnie.
Twoja AI kosztuje tyle samo za każdym razem, gdy rozwiązuje znany problem.
Każdy potwierdzony wynik obniża kolejny koszt.
Model nie ma jak stać się tańszy w twojej pracy, bo twoja praca go nie zmienia. Nauczył się świata, zanim go wydano, i każde wywołanie zaczyna od tego punktu, z dodatkiem tego, co wniesie prompt. Trudny przypadek, którego nikt wcześniej nie widział, dostaje pełne rozumowanie, i właśnie tego chcesz. Ale to samo dostaje pytanie, na które twój zespół odpowiedział kilka miesięcy temu, za tę samą cenę, a znaczna część tego, co trafia do twojej AI, to ten drugi rodzaj.
Zespoły walczą z rachunkiem rozsądnymi sposobami. Krótszy prompt odchudza każde wywołanie. Mniejszy model obniża cenę, a przy łatwej pracy to uczciwa wymiana. Cache odpowiada na powtórkę niemal za darmo, a gdy powtórka jest dokładna, trudno go pobić. Wszystkie te sposoby pomagają, ale żaden nie zmienia układu: za każde wywołanie modelu wciąż się płaci, a cache zna tylko to, co wygląda tak samo, więc łudząco podobnemu zapytaniu daje starą odpowiedź i daje ją dalej, także po zmianie twoich zasad.
Duplex zamiast tego się uczy. Gdy twój zespół potwierdza wynik, Duplex uczy się decyzji, która za nim stoi, a na następne podobne zapytanie odpowiada już sam, bez wywołania modelu. W strumieniu 3,000 decyzji wyuczona decyzja wracała w Około 97 ms. Wywołanie modelu trwało Około 2,231 ms, a za każde trzeba było zapłacić. Dla klienta czekającego na czacie to różnica między natychmiastową odpowiedzią a przerwą, którą zauważa.
Każda decyzja, którą potwierdza twój zespół, od tej chwili znika więc z rachunku. Pytania o zasady, wybory tras i znajome wyjątki, które tworzą tak dużą część ruchu, przechodzą do Duplex jedno po drugim, a twoja AI wkłada wysiłek tam, gdzie warto płacić jej cenę: w to, co nowe, z kontekstem tego, co Duplex wie o sprawie. Gdy odpowiedź na ten nowy przypadek zostanie zatwierdzona, Duplex przejmuje i ją.
Duża część tego, co trafia do twojego modelu, to decyzje, które już podjął, i to wielokrotnie.
Koszt spada, a dokładność rośnie.
Koszt i dokładność zwykle ciągną w przeciwne strony. Żeby więcej odpowiedzi było trafnych, płacisz za większy model, dłuższy prompt albo drugą kontrolę, a żeby wydawać mniej, godzisz się na więcej błędów. Każdy, kto uruchamiał AI na produkcji, kręcił tym pokrętłem w obie strony, szukając ustawienia, przy którym poprawia się jedno i drugie.
Z Duplex oba idą w parze, w kierunku, którego chcesz. W tych 3,000 decyzji, z pięcioma zmianami zasad po drodze, jego dokładność wzrosła z 85.0% do 94.6%, a koszt każdej decyzji spadł o mniej więcej dwie trzecie. Na każdą decyzję, której się nauczy, odpowiada tak, jak zdecydował twój zespół, bez płatnego wywołania, a korekta wprowadzona raz obowiązuje za każdym kolejnym razem. Dlatego każdy wynik, którego się uczy, poprawia jedno i drugie.
W porównaniu z tym samym modelem pracującym samodzielnie nad tymi samymi decyzjami Duplex wykonał o 90.3% mniej wywołań modelu przy kosztach niższych o 84.8% i znacznie częściej miał rację: 94.6% wobec 59.8%. Różnica była największa po zmianach zasad. W decyzjach, których te zmiany dotyczyły, Duplex miał rację w 92.5% przypadków, a sam model w 2.3%. Model z cache osiągnął 42.6%, a tania odpowiedź nie jest żadną oszczędnością, gdy stosuje starą zasadę.
Wynik utrzymał się przy każdym sprawdzonym ustawieniu. W ośmiu ustawieniach dokładność Duplex mieściła się między 94.1% a 94.8%, przy mniej więcej jednej siódmej kosztu samego modelu, podczas gdy najlepszy wynik cache wyniósł 77.3%. A krzywa nie musi zaczynać się od góry: wytrenuj Duplex wstępnie na tym, co twój zespół już wie, a oszczędności zaczną się pierwszego dnia.
Przy wynajętym modelu płacisz za użycie, a każdy sukces powiększa rachunek. Z Duplex u jego boku to właśnie użycie sprawia, że praca tanieje: każdy wynik potwierdzony przez twój zespół sprawia, że następna podobna decyzja jest szybsza, tańsza i z większym prawdopodobieństwem trafna. Dalej płać swojej AI za to, co nowe i trudne, czyli za pracę, którą wykonuje najlepiej, a wszystko, co twój zespół już rozstrzygnął, niech kosztuje mniej z każdym miesiącem.
W porównaniu z samym modelem Duplex ograniczył wywołania modelu o 90.3% w tych samych 3,000 decyzji.