Uma demonstração dura uma tarde. A produção dura anos, e nesse tempo uma IA que aprende vai encontrar milhares de resultados, uma política que muda numa terça-feira, uma nova linha de produtos, uma regra apertada depois de uma auditoria e, mais cedo ou mais tarde, alguém a tentar convencê-la a fazer o que não deve.
A maioria dos sistemas que aprendem precisa de uma ama-seca para tudo isso. Alguém os retreina quando ficam para trás, limpa-os quando crescem demasiado e verifica, depois de cada mudança, que nada de importante se perdeu. O trabalho de ama-seca nunca acaba, e quando a ama-seca está ocupada, é a aprendizagem que fica desligada.
O Duplex foi feito para ficar a funcionar. Continua a aprender com cada resultado, aplica as suas regras à frente de qualquer coisa que tenha aprendido, bloqueia ataques e consegue remover dados envenenados. Aprender em produção assenta em cinco requisitos que têm de se cumprir ao mesmo tempo, e das três abordagens testadas, só o Duplex cumpriu os cinco.
A cache e a recuperação têm média de 2.2 / 5: desatualizam-se e crescem sempre.
Cinco requisitos, todos ao mesmo tempo.
Os cinco são bastante simples: aprender trabalho novo, não perder nada do antigo, acompanhar uma mudança, manter o mesmo tamanho e saber quando perguntar. Qualquer um deles é fácil de mostrar numa demonstração. O difícil é cumprir os cinco juntos, porque cada um tende a custar outro: aprenda mais depressa e o sistema esquece, mantenha-o estável e deixa de aprender.
Um sistema que falhe um deles pode parecer bem durante semanas. Depois começa a esquecer, ou a dar a resposta do trimestre passado, ou a crescer até ficar lento e caro, ou a responder a perguntas que nunca lhe ensinaram. Estas falhas não se anunciam. Cada uma aparece mais tarde, sob a forma de um cliente que recebeu a política antiga ou de uma fatura que foi subindo sem se dar por isso.
As abordagens habituais fazem, cada uma, parte do caminho. A cache e a recuperação acolhem trabalho novo com facilidade e não perdem nada do antigo, que é para isso que servem, mas servem a resposta antiga depois de uma mudança e crescem com tudo o que lhes dão. A afinação online acompanha uma mudança, mantém o mesmo tamanho e sabe quando perguntar, e pelo caminho esquece quase todo o trabalho anterior. Nos cinco requisitos, a cache e a recuperação tiveram uma média de 2.2 / 5 e a afinação online de 4 / 5.
O Duplex assenta na ACI, Adaptive Continual Intelligence, o resultado de anos de investigação sobre porque é que uma rede neuronal esquece quando aprende e deixa de aprender quando estabiliza. Cumpriu os cinco requisitos em cada uma de dez execuções, com a mesma supervisão e os mesmos dados de entrada de todas as outras abordagens. É isso que separa um sistema que se mostra numa demonstração de um que se pode deixar a funcionar: nenhuma falha nos cinco, sempre.
Atual depois de cada mudança.
As regras mudam constantemente. Um limite de reembolso muda, acrescenta-se um passo de aprovação, deixa-se de trabalhar com um fornecedor. Um sistema deixado a funcionar tem de seguir a nova regra de imediato e deixar tudo o resto que aprendeu como estava. Com o Duplex, as suas regras vêm primeiro, à frente de qualquer coisa que tenha aprendido, por isso uma regra que a sua equipa muda ao meio-dia aplica-se a partir do próximo pedido.
Há mudanças que ninguém pediu. Vai haver quem tente convencer um sistema a passar por cima das suas regras, reformulando o mesmo ataque até alguma coisa passar. Contra seis famílias de ataques parafraseados, misturados com pedidos inofensivos escritos para se parecerem com eles, nenhum ataque teve êxito, e o Duplex recusou apenas 0.7% dos pedidos legítimos, o valor mais baixo de todas as abordagens que bloquearam todos os ataques.
Os dados maus são a ameaça mais silenciosa: exemplos introduzidos de propósito para ensinar a lição errada. Depois de um envenenamento deliberado, o Duplex removeu as 40 amostras envenenadas, e a sua precisão voltou a ficar a menos de um ponto da anterior. Tudo o que tinha aprendido de legítimo ficou como estava, verificado bit a bit.
As mudanças que quer mesmo, acompanha-as por inteiro. Depois de uma mudança de política, o Duplex deu 0% de respostas desatualizadas e não perdeu nada do trabalho anterior. A cache e a recuperação continuaram a servir a política antiga, com 72% de respostas desatualizadas. A afinação online aprendeu a nova política e manteve Quase nada do trabalho anterior.
Uma política muda: um aprendiz tem de a seguir sem perder nada do que aprendeu antes.
Mantém o mesmo tamanho, e planeia os seus passos.
O tamanho é a falha lenta. Um sistema que cresce com tudo o que vê fica mais lento, mais caro e mais difícil de verificar, um pouco mais a cada mês. As abordagens de memória funcionam assim: juntam o que acontece a uma pilha cada vez maior, o que torna o passado fácil de consultar e a pilha difícil de suportar.
O Duplex não cresce à medida que aprende, enquanto a cache e a recuperação, nas mesmas execuções, cresceram até cerca de 1,300 linhas. O Duplex acolheu o trabalho novo e acompanhou a mudança com o mesmo tamanho, por isso não há nada para podar nem nada para limpar para o manter rápido.
O mesmo tamanho não significa saber menos. O que o Duplex aprende sobre um mundo chega para planear nele. Um agente reativo dá o passo que parece melhor no momento, o que funciona até o caminho que parece direto não levar a lado nenhum: num mundo de vários passos, ao longo de dez execuções, chegou ao objetivo 0% das vezes. O Duplex encontrou o caminho mais curto exato em todas as execuções, sem chamar um modelo. Um modelo de fronteira também chegou ao objetivo, gastando tokens em cada episódio.
A sua equipa continua a decidir o que o Duplex aprende, e pode rever, corrigir ou remover qualquer parte disso. O que desaparece é o trabalho de ama-seca: o retreino, a poda e a verificação ansiosa depois de cada mudança. O Duplex aprende com cada resultado enquanto estiver a funcionar, e quanto mais tempo o deixar a funcionar, mais do seu trabalho conhece.
Um pequeno mundo com um objetivo, e um caminho que parece direto mas não dá a lado nenhum.