Um bom recém-contratado aprende o tempo todo. Na segunda semana, alguém comenta que um cliente é faturado trimestralmente, e esse cliente nunca mais recebe uma fatura mensal. Ao fim de um ano, sabe centenas de pequenas coisas assim, e aprender a mais recente não lhe custou nenhuma das outras.
Peça o mesmo a uma IA, e o que qualquer bom colega faz torna-se um problema de investigação. O seu modelo aprendeu o mundo num único treino longo, e depois o que sabia ficou fixo. Para lhe ensinar algo novo, treina-o outra vez, e treinar com o novo tende a desgastar o antigo. Por isso as equipas corrigem as mesmas respostas semana após semana, ou esperam pela versão seguinte e fazem figas.
O Duplex aprende como esse recém-contratado: com cada resultado, enquanto o trabalho acontece, e cada lição nova não lhe custa nenhuma das antigas. Também se adapta à medida que o trabalho muda, o que é ainda mais difícil.
A aprendizagem contínua significa absorver o novo sem perder o antigo.
O novo e o antigo puxam cada um para seu lado.
O seu trabalho continua a mexer muito depois de o seu modelo ter sido treinado. Uma correção chega na segunda-feira, uma regra muda na quarta, e todos os dias a sua equipa confirma resultados que o modelo nunca viu. Aprender com cada um deles à medida que acontece é difícil, porque exige coisas que puxam em sentidos opostos.
Aprenda com avidez, e o novo empurra o antigo para fora. Os investigadores chamam-lhe esquecimento catastrófico, e é por isso que um modelo treinado com as correções deste mês pode começar a errar as respostas do mês passado. Agarre-se com força, pelo contrário, e o que sabe fica parado enquanto o seu trabalho avança, por isso as respostas ficam desatualizadas. E o que quer que aprenda tem de continuar aberto à sua equipa, para que uma lição errada possa ser corrigida ou removida sem mexer no resto.
Juntas, formam o trilema das redes neuronais: plasticidade, estabilidade e editabilidade. Uma rede neuronal consegue duas, no máximo. Aprender em produção pede mais do que quaisquer duas: um sistema tem de acompanhar uma mudança, manter o trabalho anterior, aceitar uma correção, continuar rápido à medida que cresce e saber o que não aprendeu, tudo ao mesmo tempo e em trabalho real. O Duplex cumpre os cinco requisitos, em todas as execuções.
O retreino põe cada correção à espera.
A maior parte do que se vende como aprendizagem contínua é retreino contínuo. O sistema junta o que mudou, retreina o modelo, testa a nova versão e põe-na no lugar da antiga. Depois espera pelo próximo treino.
Entre treinos, o modelo fica como estava. A correção que a sua equipa fez na segunda-feira espera pelo treino, e até lá o mesmo erro chega a todos os clientes que perguntam. As respostas nunca estão mais em dia do que o último treino, e o seu trabalho não espera pelo calendário de ninguém.
Cada treino é um projeto em si: um pipeline de treino, um cluster de aceleradores e uma equipa para os gerir. E cada treino produz um novo modelo, que pode perder parte do que o anterior sabia.
A afinação online, que retreina à medida que avança, corre o mesmo risco. Depois de uma mudança de política, aprendeu a mudança e manteve Quase nada do trabalho anterior. O Duplex acompanhou a mesma mudança com 100% do trabalho anterior intacto.
A sua equipa corrige uma resposta errada na segunda.
O Duplex aprende e age em execução.
O Duplex aprende com cada resultado à medida que a sua equipa o confirma: um teste que passou, uma revisão aprovada, uma correção aceite. O pedido seguinte já o reflete, e o Duplex age com base no que aprendeu, dentro das suas regras: responde, passa adiante ou recusa. Não há treino de que ficar à espera, nem versão nova para testar, nem modelo para trocar.
Aprende ao lado da sua IA, e não dentro dela. Os pesos do seu modelo ficam como estão, e o Duplex não precisa de GPU. Pode rever, corrigir ou remover qualquer coisa que tenha aprendido, e tudo o resto fica como estava. Essa terceira necessidade, a editabilidade, é a que mais custa ao retreino, porque num modelo retreinado ninguém consegue apontar para uma única lição e mudá-la.
O Duplex assenta na ACI, Adaptive Continual Intelligence: os algoritmos e a arquitetura proprietários da Vareon para uma inteligência que aprende e age continuamente em execução. A ACI é o resultado de anos de investigação sobre esse trilema, e é o que permite ao Duplex acolher o novo sem abdicar do antigo.
Aprender em execução também mantém as respostas em dia. Depois de uma mudança de política, 0% das respostas do Duplex estavam desatualizadas. A cache e a recuperação, que continuavam a servir o que tinham encontrado antes da mudança, deram respostas desatualizadas 72% das vezes.
Adaptar-se é ainda mais difícil.
Aprender uma correção é metade do trabalho. A outra metade é adaptar-se: saber quando o que foi aprendido se aplica, quando não se aplica, e o que fazer quando o trabalho muda. Um sistema que aplica todas as lições em todo o lado é tão pouco útil como um que não aprende nada, e mais perigoso, porque parece seguro de si.
Três momentos mostram-no. O mesmo pedido chega com outras palavras, e o Duplex reconhece-o e responde. Um pedido parece familiar mas é novo, como um reembolso num cartão-oferta, e o Duplex distingue-o e chama a sua IA, informada com o que sabe sobre o caso. Uma regra muda, e o Duplex segue a nova regra a partir do próximo pedido, enquanto o resto do que sabe continua igual.
Num fluxo de 3,000 decisões em que as regras mudaram cinco vezes, o Duplex acertou em 92.5% das decisões afetadas por essas mudanças. O modelo sozinho, sem forma de aprender as novas regras, acertou em 2.3%.
O Duplex aprende com cada resultado confirmado, e constrói a partir dele.
Cada resultado torna o seguinte melhor.
Um modelo melhora quando quem o fez treina o seguinte. Isso acontece no calendário do laboratório, para todos ao mesmo tempo, e o novo modelo chega sem saber nada do seu trabalho.
Acreditamos que Os agentes vão melhorar com uma segunda inteligência ao seu lado, num ciclo recursivo, em execução. É por isso que construímos o Duplex. Um agente com o Duplex ao lado melhora a cada dia de trabalho, com os seus próprios resultados: age, o resultado volta, o Duplex aprende com ele, e a ação seguinte parte de mais do que a anterior. Melhores decisões trazem melhores resultados, e melhores resultados ensinam mais ao Duplex.
Os modelos vão continuar a melhorar, e vai querer o melhor deles. O seu trabalho também vai continuar a mudar, a cada hora de cada dia. Com o Duplex ao lado da sua IA, a aprendizagem deixa de ser algo que acontece a um modelo de vez em quando. Passa a fazer parte do próprio trabalho: cada resultado ensina alguma coisa ao Duplex, cada lição assenta na anterior, e tudo isso vai consigo para o modelo seguinte.