En demo varar en eftermiddag. Produktion varar i åratal, och under den tiden möter en AI som lär sig tusentals resultat, en policy som ändras en tisdag, en ny produktlinje, en regel som skärps efter en revision och, förr eller senare, någon som försöker övertala den att göra något den inte borde.
De flesta system som lär sig behöver en barnvakt för allt det där. Någon tränar om dem när de halkar efter, rensar dem när de blir för stora och kontrollerar efter varje ändring att inget viktigt har gått förlorat. Barnvaktandet tar aldrig slut, och när barnvakten har fullt upp är det lärandet som stängs av.
Duplex är byggd för att kunna lämnas igång. Den fortsätter att lära sig av varje resultat, tillämpar dina regler före allt den har lärt sig, stoppar attacker och kan ta bort förgiftad data. Lärande i produktion vilar på fem krav som måste hålla samtidigt, och av de tre metoder som testades uppfyllde bara Duplex alla fem.
Cache och hämtning klarar i snitt 2.2 / 5: de blir inaktuella och fortsätter växa.
Fem krav, på en gång.
De fem är enkla nog: lära sig nytt arbete, inte förlora något av det gamla, följa en ändring, behålla samma storlek och veta när man ska fråga. Vart och ett av dem är lätt att visa i en demo. Det svåra är alla fem tillsammans, eftersom vart och ett tenderar att kosta ett annat: lär sig ett system snabbare glömmer det, håller man det stadigt slutar det att lära sig.
Ett system som missar ett av dem kan se bra ut i veckor. Sedan börjar det glömma, eller ge förra kvartalets svar, eller växa tills det är långsamt och dyrt, eller svara på frågor som det aldrig har lärt sig. De här felen gör sig inte till känna. Vart och ett dyker upp senare, som en kund som fick den gamla policyn eller en räkning som smög sig uppåt.
De vanliga metoderna tar sig var och en en bit på vägen. Cache och hämtning tar sig lätt an nytt arbete och förlorar inget av det gamla, vilket är vad de är till för, men de levererar det gamla svaret efter en ändring och växer med allt de matas med. Löpande finjustering följer en ändring, behåller samma storlek och vet när den ska fråga, och glömmer på köpet nästan allt sitt tidigare arbete. Över de fem kraven fick cache och hämtning i snitt 2.2 / 5 och löpande finjustering 4 / 5.
Duplex är byggd på ACI, Adaptive Continual Intelligence, resultatet av år av forskning om varför ett neuralt nätverk glömmer när det lär sig och slutar lära sig när det väl är stabilt. Den uppfyllde alla fem kraven i var och en av tio körningar, med samma övervakning och samma indata som alla andra metoder. Det är det som skiljer ett system du kan demonstrera från ett du kan lämna igång: inga luckor bland de fem, varje gång.
Aktuell efter varje ändring.
Regler ändras hela tiden. En gräns för återbetalningar flyttas, ett godkännandesteg läggs till, en leverantör tas bort. Ett system som lämnas igång måste följa den nya regeln direkt och lämna allt annat det har lärt sig som det var. Med Duplex kommer dina regler först, före allt den har lärt sig, så en regel som ditt team ändrar klockan tolv gäller från nästa förfrågan.
Vissa ändringar är sådana som ingen har bett om. Folk kommer att försöka prata ett system förbi dina regler, och omformulera samma attack tills något slinker igenom. Mot sex familjer av omformulerade attacker, blandade med harmlösa förfrågningar skrivna för att likna dem, lyckades ingen attack, och Duplex avvisade bara 0.7% av de legitima förfrågningarna, det lägsta av alla metoder som stoppade varje attack.
Dålig data är det tystare hotet: exempel som matas in med flit för att ge fel lärdom. Efter avsiktlig förgiftning tog Duplex bort alla 40 förgiftade exempel, och dess träffsäkerhet återhämtade sig till inom en procentenhet. Allt legitimt den hade lärt sig lämnades som det var, kontrollerat bit för bit.
De ändringar du faktiskt vill ha följer den fullt ut. Efter en policyändring gav Duplex 0% inaktuella svar och förlorade inget av sitt tidigare arbete. Cache och hämtning fortsatte att leverera den gamla policyn, 72% inaktuella. Löpande finjustering lärde sig den nya policyn och behöll Nästan inget av det tidigare arbetet.
En policy ändras: en inlärare måste följa den utan att förlora något den har lärt sig tidigare.
Den behåller samma storlek, och planerar sina drag.
Storleken är det långsamma misslyckandet. Ett system som växer med allt det ser blir långsammare, dyrare och svårare att kontrollera, lite mer för varje månad. Minnesbaserade metoder fungerar så: de lägger det som händer på en växande hög, vilket gör det förflutna lätt att slå upp och högen svår att leva med.
Duplex växer inte när den lär sig, medan cache och hämtning i samma körningar växte till ungefär 1,300 rader. Duplex tog sig an det nya arbetet och följde ändringen med samma storlek, så det finns inget att beskära och inget att rensa bort för att hålla den snabb.
Samma storlek betyder inte att den kan mindre. Det Duplex lär sig om en värld räcker för att planera i den. En reaktiv agent tar det steg som ser bäst ut just nu, vilket fungerar tills den väg som ser rak ut leder ingenstans: i en värld med flera steg nådde den målet i 0% av fallen över tio körningar. Duplex hittade exakt den kortaste vägen i varje körning, utan att anropa en modell. En spetsmodell nådde också målet, genom att förbruka tokens i varje episod.
Ditt team bestämmer fortfarande vad Duplex lär sig och kan granska, korrigera eller ta bort vad som helst av det. Det som försvinner är barnvaktandet: omträningen, beskärningen och den oroliga kontrollen efter varje ändring. Duplex lär sig av varje resultat så länge den körs, och ju längre du låter den köra, desto mer av ditt arbete kan den.
En liten värld med ett mål, och en väg som ser rak ut men inte leder någonstans.