Een demo duurt een middag. Productie duurt jaren, en in die tijd krijgt een AI die leert, te maken met duizenden resultaten, een beleid dat op een dinsdag verandert, een nieuwe productlijn, een regel die na een audit wordt aangescherpt en, vroeg of laat, iemand die hem probeert over te halen tot iets wat hij niet hoort te doen.
De meeste systemen die leren, hebben daarvoor een oppas nodig. Iemand hertraint ze als ze achterlopen, ruimt ze op als ze te groot worden en controleert na elke wijziging of er niets belangrijks verloren is gegaan. Het oppassen houdt nooit op, en als de oppas het druk heeft, is het leren wat wordt uitgezet.
Duplex is gebouwd om te laten draaien. Het blijft leren van elk resultaat, past jouw regels toe vóór alles wat het heeft geleerd, houdt aanvallen tegen en kan vergiftigde data verwijderen. Leren in productie rust op vijf eisen die tegelijk moeten gelden, en van de drie geteste aanpakken voldeed alleen Duplex aan alle vijf.
Cache en retrieval halen gemiddeld 2.2 / 5: ze verouderen en blijven groeien.
Vijf eisen, alle tegelijk.
De vijf zijn eenvoudig genoeg: nieuw werk leren, niets van het oude verliezen, een wijziging volgen, even groot blijven en weten wanneer het moet vragen. Elk ervan is in een demo makkelijk te laten zien. Het moeilijke is alle vijf samen, omdat de ene vaak ten koste gaat van de andere: laat een systeem sneller leren en het vergeet, houd het stabiel en het stopt met leren.
Een systeem dat er één mist, kan wekenlang prima lijken. Dan begint het te vergeten, of het antwoord van vorig kwartaal te geven, of te groeien tot het traag en duur is, of vragen te beantwoorden die het nooit heeft geleerd. Die fouten kondigen zichzelf niet aan. Elk ervan duikt later op, als een klant die het oude beleid kreeg of een rekening die stilletjes opliep.
De gebruikelijke aanpakken komen elk een eind op weg. Cache en retrieval nemen makkelijk nieuw werk op en verliezen niets van het oude, en daar zijn ze voor, maar ze geven na een wijziging het oude antwoord en groeien met alles wat ze krijgen. Online fine-tuning volgt een wijziging, blijft even groot en weet wanneer het moet vragen, en vergeet daarbij bijna al zijn eerdere werk. Over de vijf eisen kwamen cache en retrieval gemiddeld op 2.2 / 5 en online fine-tuning op 4 / 5.
Duplex is gebouwd op ACI, Adaptive Continual Intelligence, het resultaat van jaren onderzoek naar waarom een neuraal netwerk vergeet als het leert en stopt met leren zodra het stabiel is. Het voldeed aan alle vijf eisen in elk van tien runs, met dezelfde supervisie en dezelfde input als elke andere aanpak. Dat is wat een systeem dat je kunt demonstreren onderscheidt van een systeem dat je kunt laten draaien: bij geen van de vijf een gat, elke keer weer.
Actueel na elke wijziging.
Regels veranderen voortdurend. Een terugbetalingslimiet schuift op, er komt een goedkeuringsstap bij, een leverancier valt af. Een systeem dat blijft draaien, moet de nieuwe regel meteen volgen en al het andere wat het leerde laten zoals het was. Bij Duplex gaan jouw regels voor, vóór alles wat het heeft geleerd, dus een regel die je team om twaalf uur wijzigt, geldt vanaf het volgende verzoek.
Om sommige wijzigingen heeft niemand gevraagd. Mensen zullen een systeem proberen over te halen je regels te negeren, door dezelfde aanval steeds anders te verwoorden tot er iets doorheen glipt. Tegen zes families van anders verwoorde aanvallen, gemengd met onschuldige verzoeken die zo geschreven waren dat ze erop leken, slaagde geen enkele aanval, en weigerde Duplex maar 0.7% van de legitieme verzoeken, het laagste van alle aanpakken die elke aanval tegenhielden.
Slechte data vormen de stillere dreiging: voorbeelden die er bewust in worden gestopt om de verkeerde les te leren. Na opzettelijke vergiftiging verwijderde Duplex alle 40 vergiftigde samples, en herstelde de nauwkeurigheid zich tot binnen één punt. Alles wat het legitiem had geleerd, bleef zoals het was, bit voor bit gecontroleerd.
De wijzigingen die je wel wilt, volgt het volledig. Na een beleidswijziging gaf Duplex 0% verouderde antwoorden en verloor het niets van zijn eerdere werk. Cache en retrieval bleven het oude beleid geven, 72% verouderd. Online fine-tuning leerde het nieuwe beleid en behield Bijna niets van het eerdere werk.
Een beleid verandert: een leerder moet het volgen zonder iets te verliezen wat hij eerder leerde.
Het blijft even groot, en plant zijn zetten.
Omvang is het langzame falen. Een systeem dat groeit met alles wat het ziet, wordt trager, duurder en moeilijker te controleren, elke maand een beetje meer. Geheugenaanpakken werken zo: ze voegen wat er gebeurt toe aan een groeiende stapel, waardoor het verleden makkelijk op te zoeken is en de stapel moeilijk om mee te leven.
Duplex groeit niet als het leert, terwijl cache en retrieval in dezelfde runs groeiden tot ongeveer 1,300 rijen. Duplex nam het nieuwe werk op en volgde de wijziging bij dezelfde omvang, dus er valt niets te snoeien en niets op te ruimen om het snel te houden.
Even groot betekent niet dat het minder weet. Wat Duplex over een wereld leert, is genoeg om erin te plannen. Een reactieve agent zet de stap die nu het best lijkt, en dat werkt tot de weg die direct lijkt nergens heen leidt: in een wereld met meerdere stappen bereikte hij over tien runs in 0% van de gevallen het doel. Duplex vond in elke run exact het kortste pad, zonder een model aan te roepen. Een frontiermodel bereikte het doel ook, door in elke episode tokens uit te geven.
Je team beslist nog steeds wat Duplex leert, en kan er alles van beoordelen, corrigeren of verwijderen. Wat verdwijnt, is het oppassen: het hertrainen, het snoeien en de nerveuze controle na elke wijziging. Duplex leert van elk resultaat zolang het draait, en hoe langer je het laat draaien, hoe meer het van je werk weet.
Een kleine wereld met een doel, en een weg die direct lijkt maar nergens heen leidt.