Demo trvá jedno odpoledne. Produkce trvá roky a za tu dobu se AI, která se učí, setká s tisíci výsledků, se zásadami, které se změní v úterý, s novou produktovou řadou, s pravidlem zpřísněným po auditu a dřív nebo později i s někým, kdo se ji pokusí přemluvit k něčemu, co by dělat neměla.
Většina systémů, které se učí, k tomu všemu potřebuje chůvu. Někdo je přetrénuje, když zaostanou, vyčistí je, když příliš narostou, a po každé změně kontroluje, že se nic důležitého neztratilo. Hlídání nikdy nekončí, a když má chůva plné ruce práce, vypne se právě učení.
Duplex je postavený tak, aby se dal nechat běžet. Dál se učí z každého výsledku, vaše pravidla uplatňuje přednostně před vším, co se naučil, blokuje útoky a dokáže odstranit otrávená data. Učení v produkci stojí na pěti požadavcích, které musí platit současně, a ze tří testovaných přístupů splnil všech pět jen Duplex.
Cache a vyhledávání dosahují v průměru 2.2 / 5: zastarávají a stále rostou.
Pět požadavků, všechny najednou.
Těch pět je docela prostých: naučit se novou práci, neztratit nic ze staré, řídit se změnou, zůstat stejně velký a vědět, kdy se zeptat. Kterýkoli z nich se dá snadno ukázat v demu. Těžké je všech pět dohromady, protože každý obvykle jde na úkor jiného: když se systém učí rychleji, zapomíná, a když ho udržíte stálý, přestane se učit.
Systém, kterému jeden chybí, může týdny vypadat v pořádku. Pak začne zapomínat, nebo dávat odpověď z minulého čtvrtletí, nebo růst, až je pomalý a drahý, nebo odpovídat na otázky, které ho nikdo nenaučil. Tato selhání se neohlašují. Každé se ukáže až později, jako zákazník, který dostal staré zásady, nebo účet, který se nenápadně vyšplhal nahoru.
Obvyklé přístupy se každý dostanou jen kus cesty. Cache a vyhledávání snadno převezmou novou práci a ze staré neztratí nic, k tomu ostatně slouží, ale po změně vydávají starou odpověď a rostou se vším, co dostanou. Online doladění se řídí změnou, zůstává stejně velké a ví, kdy se zeptat, a přitom zapomene skoro všechnu svou dřívější práci. V pěti požadavcích dosáhly cache a vyhledávání v průměru 2.2 / 5 a online doladění 4 / 5.
Duplex je postaven na ACI, Adaptive Continual Intelligence, výsledku let výzkumu toho, proč neuronová síť zapomíná, když se učí, a přestane se učit, jakmile je stálá. Splnil všech pět požadavků v každém z deseti běhů, se stejným dohledem a stejnými vstupy jako každý jiný přístup. Právě to odlišuje systém, který můžete předvést, od systému, který můžete nechat běžet: žádné mezery v žádném z pěti, pokaždé.
Aktuální po každé změně.
Pravidla se mění pořád. Posune se limit pro refundace, přibude krok schválení, vypadne dodavatel. Systém, který necháte běžet, se musí novým pravidlem řídit okamžitě a všechno ostatní, co se naučil, nechat, jak bylo. S Duplexem mají vaše pravidla přednost před vším, co se naučil, takže pravidlo, které váš tým změní v poledne, platí od dalšího požadavku.
Některé změny si nikdo nepřál. Lidé se budou snažit systém přemluvit, aby obešel vaše pravidla, a budou přeformulovávat stejný útok, dokud něco neprojde. Proti šesti rodinám parafrázovaných útoků, smíchaných s neškodnými požadavky napsanými tak, aby se jim podobaly, neuspěl ani jeden útok a Duplex odmítl jen 0.7% legitimních požadavků, nejméně ze všech přístupů, které zastavily každý útok.
Špatná data jsou tišší hrozba: příklady podstrčené záměrně, aby naučily špatnou lekci. Po záměrné otravě odstranil Duplex všech 40 otrávených vzorků a jeho přesnost se vrátila s odchylkou do jednoho bodu. Všechno legitimní, co se naučil, zůstalo, jak bylo, zkontrolováno bit po bitu.
Změnami, které chcete, se řídí naplno. Po změně zásad dal Duplex 0% zastaralých odpovědí a neztratil nic ze své dřívější práce. Cache a vyhledávání dál vydávaly staré zásady, 72% zastaralých. Online doladění se nové zásady naučilo a zachovalo si Jen nepatrný zlomek dřívější práce.
Změní se zásady: učící se systém se jimi musí řídit, aniž by přišel o cokoli, co se naučil dřív.
Zůstává stejně velký a plánuje své tahy.
Velikost je pomalé selhání. Systém, který roste se vším, co vidí, je pomalejší, dražší a hůř se kontroluje, každý měsíc o kousek víc. Paměťové přístupy fungují právě takhle: to, co se stane, přidávají na rostoucí hromadu, takže minulost se snadno dohledá a s hromadou se těžko žije.
Duplex se učením nezvětšuje, zatímco cache a vyhledávání ve stejných bězích narostly zhruba na 1,300 řádků. Duplex převzal novou práci a řídil se změnou při stejné velikosti, takže není co prořezávat ani co vyklízet, aby zůstal rychlý.
Stejná velikost neznamená vědět méně. Co se Duplex o nějakém světě naučí, stačí k tomu, aby v něm plánoval. Reaktivní agent udělá krok, který se právě teď zdá nejlepší, což funguje, dokud cesta, která vypadá přímo, nevede nikam: ve světě o více krocích během deseti běhů dosáhl cíle v 0% případů. Duplex v každém běhu našel přesně nejkratší cestu, aniž by volal model. Špičkový model cíle také dosáhl, a to tak, že v každé epizodě utrácel tokeny.
O tom, co se Duplex učí, dál rozhoduje váš tým a cokoli z toho může zkontrolovat, opravit nebo odstranit. Odpadá hlídání: přetrénování, prořezávání a úzkostná kontrola po každé změně. Duplex se učí z každého výsledku, dokud běží, a čím déle ho necháte běžet, tím víc vaší práce zná.
Malý svět s cílem a cestou, která vypadá jako přímá, ale nikam nevede.