Tego samego ranka piszą dwaj klienci. „Czy mogę dostać zwrot pieniędzy za to?” To pytanie o zwrot, które twój zespół rozstrzygnął dawno temu. „Czy mogę dostać zwrot pieniędzy za tę kartę podarunkową?” Brzmi niemal tak samo, a wymaga innej odpowiedzi, bo za karty podarunkowe przysługuje bon sklepowy, nie gotówka.
Wszystko, co odpowiada na podstawie podobieństwa, traktuje te dwa pytania jak jedno. Drugi klient dostaje zasady zwrotów, podane z tą samą pewnością co pierwszemu, i nic tego nie sygnalizuje, bo nic nie wyglądało źle. Powolna trafna odpowiedź kosztuje cię minutę. Pewna siebie błędna wychodzi pod twoim szyldem, a dowiadujesz się o niej z reklamacji albo nie dowiadujesz się wcale.
Duplex wie, co wie. Odpowiada na to, czego się nauczył, niezależnie od sformułowania zapytania, i potrafi rozpoznać, kiedy zapytanie tylko wygląda znajomo. Takie trafia do twojej AI, z kontekstem tego, co Duplex wie o sprawie. Ryzyko czai się właśnie na granicy między jednym a drugim, a Duplex wyznacza ją znacznie ostrzej niż cache.
Duplex od razu odpowiada na zapytanie, którego się nauczył.
Łudząco podobne zapytania to trudny przypadek.
Zapytania dzielą się na więcej rodzajów niż znajome i nowe. Niektóre słowo w słowo powtarzają sprawę, którą twój zespół już rozstrzygnął. Inne to ta sama sprawa w nowych słowach: „Poproszę o zwrot za to.” Jeszcze inne tylko wyglądają znajomo, jak karta podarunkowa: ten sam temat, większość tych samych słów i jedna różnica, która zmienia odpowiedź. Dalej leżą zapytania wyraźnie nowe, jak zwrot za zamówienie podzielone na dwie części, a niektóre pochodzą z zupełnie innej dziedziny.
Oba końce są łatwe. Na dokładną powtórkę można odpowiedzieć tak, jak zdecydowano wcześniej, a zapytanie z innej dziedziny łatwo odłożyć na bok. Ryzyko tkwi pośrodku, gdzie zapytanie jest na tyle bliskie, by uchodzić za znajome, i na tyle inne, że stara odpowiedź jest błędna. Ten środek z roku na rok ma coraz większe znaczenie, bo coraz więcej odpowiedzi od razu zamienia się w działania: gdy agent działa na podstawie łudząco podobnego zapytania, błędna odpowiedź staje się błędnym zwrotem i nikt jej wcześniej nie czyta.
Każde ze zwykłych narzędzi dobrze wykonuje część pracy. Ręcznie napisana reguła jest precyzyjna w tym, co nazywa: wyłapie „kartę podarunkową”, ale przeoczy „bon podarunkowy”. Cache odpowiada na dokładną powtórkę natychmiast, niemal za darmo. Wyszukiwanie idzie dalej i znajduje to, co wygląda podobnie, co daje twojej AI przydatny kontekst. Wszystkie trzy kierują się powierzchnią zapytania, więc łudząco podobne zapytanie dostaje starą odpowiedź, podaną z tą samą pewnością co prawdziwa powtórka.
Duplex uczy się, od czego zależy decyzja, a nie tylko słów, w jakich przyszło zapytanie. Dlatego odpowiada na to samo zapytanie w nowych słowach i zauważa, kiedy zapytanie, które wygląda znajomo, różni się w tym, co ważne. „Poproszę o zwrot za to” dostaje odpowiedź od razu, a karta podarunkowa trafia do twojej AI. W ocenie odróżniania znajomego od nowego, w skali do 1, Duplex osiągnął 0.996, a cache 0.930, a ta różnica wygląda na małą, dopóki nie zobaczysz, gdzie się pojawia: przy łudząco podobnych zapytaniach.
Znane zapytania po jednej stronie, nowe po drugiej: kto odpowiada, musi je od siebie odróżnić.
Mniej błędnych odpowiedzi, bo to, co nowe, przekazuje dalej.
Mózg pracuje z dwoma systemami: powolnym dla wiedzy ogólnej i szybkim dla każdego nowego doświadczenia. Twoja AI to ten powolny, a Duplex to ten szybki. Ta para działa tylko wtedy, gdy szybki wie, gdzie kończy się jego wiedza. Zapytanie, którego Duplex się nauczył, dostaje odpowiedź od razu, bez wywołania modelu. Zapytanie nowe albo tylko wyglądające znajomo trafia do twojej AI, z kontekstem tego, co Duplex wie o sprawie, więc model zaczyna od kontekstu twojego zespołu, a nie od zera.
W dziesięciu przebiegach Duplex odpowiedział błędnie na 7.5% mylących, łudząco podobnych zapytań. Cache przy tych samych zapytaniach odpowiadał błędnie w 45.3% przypadków, mniej więcej sześć razy częściej. A Duplex nie kupił tego bezpieczeństwa, odsyłając pracę: na 95.78% znanych zapytań odpowiedział sam, a przy każdym ustawieniu progu pewności obsłużył więcej znanej pracy i rzadziej niebezpiecznie zgadywał przy nowej.
Policz poprawne przekazanie twojej AI jako to, czym jest, czyli właściwą decyzję, a Duplex obsłużył poprawnie 98.98% wszystkich zapytań. Na produkcji to właśnie tę liczbę warto obserwować: jak często każde zapytanie trafia do tego, kto powinien na nie odpowiedzieć, a nie jak często system jest gotów odpowiadać. System, który odpowiada na wszystko, dostaje dobrą ocenę za gotowość i złą za zaufanie.
Od tego zależy, na ile możesz puścić go samodzielnie. System, który zgaduje, trzeba pilnować we wszystkim, bo każda odpowiedź może być tą błędną. Systemowi, który zna swoje granice, można od razu powierzyć znajomą pracę, a twoja AI bierze to, co nowe. To różnica między nowym pracownikiem, którego każdą odpowiedź sprawdzasz, a współpracownikiem, któremu powierzasz rutynę i który konsultuje się z tobą, gdy sprawa jest mu nieznana.
A granica się przesuwa. Każdy wynik, który twój zespół potwierdzi w nowej sprawie, uczy Duplex tej sprawy, więc następne podobne zapytanie dostaje odpowiedź po bliższej stronie granicy, w milisekundach. Twoja AI zachowuje pracę, którą wykonuje najlepiej, nową i trudną, a pod twoim szyldem wychodzi mniej pewnych siebie błędnych odpowiedzi. Systemowi, który wie, co wie, można co tydzień powierzać trochę więcej.
Przy łudząco podobnych zapytaniach cache podał zapisaną odpowiedź i mylił się w 45.3% przypadków.