V úterý v poledne změní váš finanční tým pravidlo: od teď potřebují refundace nad £75 schválení vedoucího. Žádost o refundaci, která dorazí v pět minut po dvanácté, vám o tom, jak vaše firma používá AI, řekne hodně.
Pokud každý požadavek jde k modelu, odpověď se novým pravidlem řídí, jen pokud ho už někdo přidal do promptu, a za rozhodnutí, které váš tým dělá celý den, platíte plnou cenu. Pokud váš systém znovu používá odpovědi, které dal dřív, požadavek nestojí skoro nic a refundace projde bez schválení, které nové pravidlo vyžaduje. Pokud model přetrénujete na nových zásadách, odpověď bude správná po příštím trénovacím běhu, ať už to bude kdykoli.
Od té odpovědi chcete tři věci. Správná odpověď je ta, kterou by dal váš tým, s vašimi pravidly a vašimi výjimkami. Aktuální odpověď se řídí pravidlem tak, jak platí dnes, od chvíle, kdy se změní. Cenově dostupná odpověď znamená, že rozhodnutí, které váš tým vyřešil už dávno, nestojí plné volání modelu pokaždé, když se vrátí.
Známé přístupy dosáhnou každý nanejvýš dvou ze tří a ta třetí je cena. Duplex dosáhne všech tří na stejné práci, protože se učí z každého výsledku, zatímco práce probíhá.
Volejte model pokaždé a má pravdu v 59.8% případů, přičemž každé rozhodnutí se platí.
Volat model pokaždé znamená znovu platit za stejné přemýšlení.
Volat model u každého požadavku je přirozený začátek, a to z dobrého důvodu. Model přináší jazyk, znalosti a uvažování k téměř jakékoli otázce, poradí si s věcmi, které nikdy neviděl, a zlepší se pokaždé, když jeho tvůrce vydá novou verzi.
Taky ale pokaždé začíná od nuly. Refundace přesně jako ta včerejší se vymýšlí od začátku a znovu se za ni platí, takže účet roste s používáním a nikdy se nezmenší, když se práce stane známou. A model zná pravidla vašeho týmu, jen když mu je někdo pošle spolu s požadavkem: vynechte jedno a rozhodne podle toho, co věděl dřív.
V nejlepším případě je tedy volání modelu pokaždé správné a aktuální, pokud každá oprava putuje s každým požadavkem, a nikdy není levné. Udržovat opravy na cestě je samostatná práce: někdo si musí všimnout každé změny, přidat ji do každého promptu, který ji potřebuje, a vyjmout pravidlo, které nahradila.
V proudu 3,000 rozhodnutí, v němž se pravidla pětkrát změnila, dosáhl samotný model přesnosti 59.8% a u rozhodnutí, kterých se ty změny týkaly, jen 2.3%. Protože mu nikdo nová pravidla neposílal, dál uplatňoval ta stará a přitom za skoro každé rozhodnutí platil.
Rozhodnutí dojde k modelu, ten ho promyslí od nuly a za volání se platí.
Cache je levná, dokud se nezmění pravidla.
Cache je zřejmá odpověď na účet. Když požadavek vypadá jako ten, na který už se odpovědělo, vrátí uloženou odpověď a volání modelu přeskočí. Na známé práci je rychlá, levná a, dokud se nic nezmění, i správná.
Cache ví, na co se kdo zeptal a co dostal za odpověď, ale ne proč. Když se pravidlo změní, nic jí neřekne, kterých jejích odpovědí se změna dotkla, a požadavky vypadají stejně jako dřív. Takže dál sebejistě vydává staré odpovědi, dokud někdo každou zastaralou ručně nenajde a nevymaže.
V nejlepším případě je cache levná a správná u toho, co už viděla: dvě ze tří, a cenou je aktuálnost. Ve stejném testu se ta cena musela zaplatit. Cache zvedla celkovou přesnost na 77.3% a u rozhodnutí, kterých se změna pravidla týkala, klesla na 42.6%.
Duplex se učí rozhodnutí, ne odpověď: pravidlo, které za ním stojí, proč bylo správné a kde platí. Když se pravidlo změní, řídí se od dalšího požadavku tím novým a všechno ostatní, co se naučil, zůstává, jak bylo. U rozhodnutí, kterých se změna týkala, měl Duplex pravdu v 92.5% případů.
Než se pravidlo změní, odpovídá cache na známé požadavky správně a levně.
Duplex dosáhne všech tří.
Duplex je druhá inteligence vedle vašeho modelu AI a mění to, kdo co dělá. Na rozhodnutí, která váš tým vyřešil, odpovídá Duplex sám, během milisekund a bez volání modelu. Co je nové, jde k vaší AI, i s podklady z toho, co Duplex o případu ví, a jakmile váš tým výsledek potvrdí, Duplex se učí i z něj.
Každý vrchol plyne z toho, že se Duplex učí, zatímco práce probíhá. Odpovědi jsou správné, protože se je Duplex naučil z výsledků, které váš tým potvrdil. Jsou aktuální, protože změna platí od dalšího požadavku, kdežto přetrénování by čekalo na další běh. A jsou cenově dostupné, protože rozhodnutí, které se Duplex naučil, nepotřebuje žádné volání modelu, takže čím víc se naučí, tím méně stojí každý požadavek.
Na stejných 3,000 rozhodnutích dosáhl Duplex vedle stejného modelu přesnosti 94.6%, nejvyšší v testu, s o 90.3% méně voláními modelu než samotný model a o 84.8% nižšími náklady. Cache provedla volání ještě méně a zaplatila za to zastaralými odpověďmi, jakmile se pravidlo změnilo.
Volba mezi správností, aktuálností a cenovou dostupností nikdy nebyla přírodním zákonem. Vzešla z přístupů, které pokaždé přemýšlejí znovu, nikdy znovu nepřemýšlejí, nebo přemýšlejí znovu, jen když přijde na řadu trénovací běh. Inteligence, která se učí z každého výsledku, si vybírat nemusí: ví, co váš tým vyřešil, řídí se tím, co se změnilo, a váš model se platí jen za to, co je nové.