Každý měsíc přijde účet za model o něco vyšší, a přitom se nic nepokazilo. Asistenta používá víc lidí z vašeho týmu, přes noc běží víc agentů a každý z nich volá model. Tak se pronajatá inteligence účtuje: za volání. Čím víc pro vás vaše AI dělá, tím víc platíte, a úspěch se projeví jako náklad.
Podívejte se, k čemu ta volání byla, a stále dokola se vrací stejná práce: dotaz na refundaci, který váš tým podpory vyřešil na jaře, volba směrování, která jeden druh tiketu pokaždé pošle do stejné fronty, výjimka, kterou vedoucí financí jednou vysvětlil a kterou si model od té doby pokaždé odvozuje znovu. Vaše AI řeší každý z těch případů od nuly a účtuje plnou cenu, po sté stejně jako napoprvé.
Duplex to mění. Je to druhá inteligence vedle vašeho modelu AI a učí se rozhodnutí, která vaše práce dělá stále dokola. Každé rozhodnutí, které se naučí, už nepotřebuje placené volání modelu, takže čím déle Duplex běží, tím méně stojí každé rozhodnutí. A protože se učí z výsledků, které váš tým potvrdí, víc těch rozhodnutí dopadne správně.
Vaše AI účtuje stejnou cenu pokaždé, když řeší známý problém.
Každý potvrzený výsledek sníží další náklady.
Model nemá jak u vaší práce zlevnit, protože vaše práce ho nemění. Svět se naučil před vydáním a každé volání začíná odtamtud, plus cokoli přinese prompt. Těžký případ, který ještě nikdo neviděl, dostane jeho uvažování v plné síle, a to je přesně to, co chcete. Stejné zacházení ale dostane i otázka, kterou váš tým zodpověděl před měsíci, a to za stejnou cenu, a velká část toho, co k vaší AI dorazí, je právě ten druhý druh.
Týmy proti účtu bojují rozumnými způsoby. Kratší prompt zkrátí každé volání. Menší model sníží jeho cenu a u snadné práce je to férový obchod. Cache odpoví na opakovaný dotaz skoro zadarmo, a když se opakuje přesně, těžko ji překonat. Všechny pomáhají a žádný z nich nemění pravidla hry: každé volání modelu se dál platí a cache zná jen to, co vypadá stejně, takže klamně podobnému požadavku vrátí starou odpověď a vrací ji i poté, co se vaše pravidla změní.
Duplex se místo toho učí. Když váš tým potvrdí výsledek, Duplex se naučí rozhodnutí, které za ním stojí, a na další podobný požadavek odpoví sám, bez volání modelu. V proudu 3,000 rozhodnutí se naučené rozhodnutí vrátilo za Přibližně 97 ms. Volání modelu trvalo Přibližně 2,231 ms a za každé jste zaplatili. Pro zákazníka, který čeká v chatu, je to rozdíl mezi okamžitou odpovědí a pauzou, které si všimne.
Každé rozhodnutí, které váš tým potvrdí, tak od té chvíle z účtu odpadá. Dotazy na zásady, volby směrování a známé výjimky, které tvoří tak velkou část provozu, přecházejí jeden po druhém na Duplex a vaše AI vynakládá úsilí tam, kde se její cena vyplatí: na to, co je nové, i s podklady z toho, co Duplex o případu ví. Jakmile je odpověď na takový nový případ schválena, převezme ho Duplex také.
Velká část toho, co dorazí k vašemu modelu, je rozhodnutí, které už mnohokrát učinil.
Náklady klesají, jak přesnost roste.
Náklady a přesnost obvykle jdou proti sobě. Abyste měli víc správných odpovědí, zaplatíte si větší model, delší prompt nebo druhou kontrolu, a abyste utratili méně, smíříte se s více chybami. Každý, kdo provozoval AI v produkci, tímhle knoflíkem otáčel oběma směry a hledal nastavení, kde se zlepší obojí.
S Duplexem se obojí hýbe společně, a to směrem, který chcete. Během těch 3,000 rozhodnutí, s pěti změnami pravidel po cestě, vzrostla jeho přesnost z 85.0% na 94.6%, zatímco náklady na každé rozhodnutí klesly zhruba o dvě třetiny. Každé rozhodnutí, které se naučí, vyřídí tak, jak ho rozhodl váš tým, bez volání, za které by se platilo, a oprava provedená jednou pak platí pokaždé. Každý výsledek, který se naučí, tak zlepšuje obojí.
V porovnání se stejným modelem, který na stejných rozhodnutích pracoval sám, provedl Duplex o 90.3% méně volání modelu při o 84.8% nižších nákladech a pravdu měl mnohem častěji: 94.6% oproti 59.8%. Největší rozdíl byl po změnách pravidel. U rozhodnutí, kterých se ty změny týkaly, měl Duplex pravdu v 92.5% případů a samotný model v 2.3%. Model s cache dosáhl 42.6%, a levná odpověď není žádná úspora, když se řídí starým pravidlem.
Výsledek obstál v každém testovaném nastavení. V osmi nastaveních se přesnost Duplexu držela mezi 94.1% a 94.8%, při zhruba sedmině nákladů samotného modelu, zatímco cache dosáhla nanejvýš 77.3%. A křivka nemusí začínat nahoře: předtrénujte Duplex na tom, co váš tým už ví, a úspory začnou hned první den.
U pronajatého modelu platíte za používání a každý úspěch účet zvětší. S Duplexem vedle něj je to právě používání, co práci zlevňuje: každý výsledek, který váš tým potvrdí, zrychlí a zlevní další podobné rozhodnutí a zvýší šanci, že bude správně. Plaťte svou AI dál za to, co je nové a těžké, za práci, kterou umí nejlépe, a nechte všechno, co už váš tým vyřešil, stát každý měsíc méně.
Oproti samotnému modelu snížil Duplex počet volání modelu o 90.3% na stejných 3,000 rozhodnutích.