Een goede nieuwe collega leert voortdurend. In de tweede week zegt iemand terloops dat één klant per kwartaal wordt gefactureerd, en die klant krijgt nooit meer een maandfactuur. Aan het eind van het jaar kent de collega honderden van zulke kleine dingen, en het nieuwste leren heeft er niet één van de andere gekost.
Vraag hetzelfde van een AI, en wat elke goede collega doet, wordt een onderzoeksprobleem. Je model leerde de wereld in één lange trainingsrun, en daarna lag vast wat het wist. Om het iets nieuws te leren, train je het opnieuw, en trainen op het nieuwe slijt vaak het oude weg. Dus corrigeren teams week na week dezelfde antwoorden, of wachten ze op de volgende versie en hopen ze er het beste van.
Duplex leert zoals die nieuwe collega: van elk resultaat, terwijl het werk gebeurt, en elke nieuwe les kost het geen van de oude. Het past zich ook aan als het werk verandert, en dat is nog moeilijker.
Continu leren betekent het nieuwe opnemen zonder het oude te verliezen.
Het nieuwe en het oude trekken tegen elkaar in.
Je werk blijft in beweging, lang nadat je model is getraind. Op maandag komt er een oplossing binnen, op woensdag verandert een regel, en elke dag bevestigt je team resultaten die het model nooit heeft gezien. Van elk daarvan leren op het moment dat het gebeurt, is moeilijk, omdat het dingen vraagt die tegengestelde kanten op trekken.
Leer je gretig, dan verdringt het nieuwe het oude. Onderzoekers noemen dat catastrofaal vergeten, en daardoor kan een model dat op de correcties van deze maand is getraind, de antwoorden van vorige maand fout gaan geven. Houd je juist stevig vast, dan blijft wat het weet staan terwijl je werk verdergaat, en verouderen de antwoorden. En wat het ook leert, moet open blijven voor je team, zodat een verkeerde les gecorrigeerd of verwijderd kan worden zonder de rest te verstoren.
Samen vormen ze het trilemma van neurale netwerken: plasticiteit, stabiliteit en bewerkbaarheid. Een neuraal netwerk haalt er hooguit twee. Leren in productie vraagt meer dan welke twee ook: een systeem moet een wijziging volgen, zijn eerdere werk behouden, een correctie aannemen, snel blijven terwijl het groeit en weten wat het niet heeft geleerd, alles tegelijk en op live werk. Duplex voldoet aan alle vijf, in elke run.
Hertraining laat elke oplossing wachten.
Het meeste wat als continu leren wordt verkocht, is continu hertrainen. Het systeem verzamelt wat er veranderde, hertraint het model, test de nieuwe versie en zet die in de plaats van de oude. Daarna wacht het op de volgende run.
Tussen de runs blijft het model zoals het was. De oplossing die je team op maandag maakte, wacht op de run, en tot die tijd gaat dezelfde fout naar elke klant die het vraagt. De antwoorden zijn nooit actueler dan de laatste run, en je werk wacht op niemands planning.
Elke run is een project op zich: een trainingspipeline, een cluster accelerators en een team om ze te draaien. En elke run levert een nieuw model op, dat een deel kan verliezen van wat het vorige wist.
Online fine-tuning, dat onderweg hertraint, loopt hetzelfde risico. Na een beleidswijziging leerde het de wijziging en behield het Bijna niets van zijn eerdere werk. Duplex volgde dezelfde wijziging met 100% van zijn eerdere werk intact.
Je team corrigeert op maandag een fout antwoord.
Duplex leert en handelt tijdens runtime.
Duplex leert van elk resultaat zodra je team het bevestigt: een geslaagde test, een goedgekeurde review, een geaccepteerde correctie. Het volgende verzoek weerspiegelt het al, en Duplex handelt naar wat het leerde, binnen jouw regels: het antwoordt, draagt over of weigert. Er is geen trainingsrun om op te wachten, geen nieuwe versie om te testen en geen model om te vervangen.
Het leert naast je AI, in plaats van erin. De gewichten van je model blijven zoals ze zijn, en Duplex heeft geen GPU nodig. Je kunt alles wat het heeft geleerd beoordelen, corrigeren of verwijderen, en al het andere blijft zoals het was. Die derde eis, bewerkbaarheid, is waar hertraining de meeste moeite mee heeft, omdat in een hertraind model niemand één les kan aanwijzen en aanpassen.
Duplex is gebouwd op ACI, Adaptive Continual Intelligence: de eigen algoritmen en architectuur van Vareon voor intelligentie die tijdens runtime continu leert en handelt. ACI is het resultaat van jaren onderzoek naar dat trilemma, en daardoor kan Duplex het nieuwe opnemen zonder het oude op te geven.
Leren tijdens runtime houdt de antwoorden ook actueel. Na een beleidswijziging was 0% van de antwoorden van Duplex verouderd. Cache en retrieval, die nog steeds aanboden wat ze vóór de wijziging hadden gevonden, gaven in 72% van de gevallen verouderde antwoorden.
Aanpassen is nog moeilijker.
Een oplossing leren is het halve werk. De andere helft is aanpassen: weten wanneer wat geleerd is van toepassing is, wanneer niet, en wat te doen als het werk verandert. Een systeem dat elke les overal toepast, helpt net zo weinig als een systeem dat niets leert, en is gevaarlijker, omdat het zeker van zichzelf klinkt.
Drie momenten laten het zien. Hetzelfde verzoek komt binnen in nieuwe woorden, en Duplex herkent het en antwoordt. Een verzoek lijkt bekend maar is nieuw, zoals een terugbetaling op een cadeaubon, en Duplex ziet het verschil en haalt je AI erbij, gebriefd met wat Duplex over het geval weet. Een regel verandert, en Duplex volgt de nieuwe regel vanaf het volgende verzoek, terwijl de rest van wat het weet ongewijzigd doorgaat.
In een stroom van 3,000 beslissingen waarin de regels vijf keer veranderden, zat Duplex bij de beslissingen die door die wijzigingen werden geraakt in 92.5% van de gevallen goed. Het model op zichzelf, dat de nieuwe regels op geen enkele manier kon leren, zat in 2.3% van de gevallen goed.
Duplex leert van elk bevestigd resultaat, en bouwt erop voort.
Elk resultaat maakt het volgende beter.
Een model wordt beter als zijn maker het volgende traint. Dat gebeurt volgens de planning van het lab, voor iedereen tegelijk, en het nieuwe model komt binnen zonder iets van je werk te weten.
We geloven: Agents zullen beter worden met een tweede intelligentie naast zich, in een recursieve lus, tijdens runtime. Daarom hebben we Duplex gebouwd. Een agent met Duplex ernaast wordt elke dag dat hij werkt beter, door zijn eigen resultaten: hij handelt, het resultaat komt terug, Duplex leert ervan, en de volgende actie begint met meer dan de vorige. Betere beslissingen leveren betere resultaten op, en betere resultaten leren Duplex meer.
De modellen zullen beter blijven worden, en je wilt het beste ervan. Je werk blijft ook veranderen, elk uur van elke dag. Met Duplex naast je AI is leren niet langer iets wat een model zo nu en dan overkomt. Het wordt deel van het werk zelf: elk resultaat leert Duplex iets, elke les bouwt voort op de vorige, en alles gaat met je mee naar het volgende model.