Na terça-feira ao meio-dia, a sua equipa financeira muda uma regra: a partir de agora, os reembolsos acima de £75 precisam da aprovação de um gestor. O pedido de reembolso que chega ao meio-dia e cinco diz-lhe muito sobre a forma como a sua empresa usa a IA.
Se todos os pedidos vão para o modelo, a resposta só segue a nova regra se alguém já a tiver acrescentado ao prompt, e paga o preço inteiro por uma decisão que a sua equipa toma o dia todo. Se o seu sistema reutiliza respostas que deu antes, o pedido quase não custa nada, e o reembolso passa sem a aprovação que a nova regra exige. Se retreinar o modelo com a nova política, a resposta estará certa depois do próximo treino, seja ele quando for.
Dessa resposta, quer três coisas. Certo quer dizer a resposta que a sua equipa daria, com as suas regras e as suas exceções. Atual quer dizer que segue a regra como está hoje, a partir do momento em que muda. Acessível quer dizer que uma decisão que a sua equipa resolveu há muito não custa uma chamada inteira ao modelo sempre que volta.
As abordagens conhecidas chegam cada uma, no máximo, a duas das três, e a terceira é o preço a pagar. O Duplex chega às três no mesmo trabalho, porque aprende com cada resultado enquanto o trabalho acontece.
Chame o modelo sempre, e ele acerta 59.8% das vezes, com todas as decisões pagas.
Chamar o modelo sempre é pagar outra vez pelo mesmo raciocínio.
Chamar o modelo em todos os pedidos é o ponto de partida natural, e com razão. Um modelo traz linguagem, conhecimento e raciocínio a quase qualquer pergunta, lida com coisas que nunca viu, e melhora sempre que quem o fez lança uma nova versão.
Também começa do zero, todas as vezes. Um reembolso igual ao de ontem é deduzido do zero e pago outra vez, por isso a fatura cresce com o uso e nunca diminui à medida que o trabalho se torna familiar. E o modelo só conhece as regras da sua equipa quando alguém as envia junto com o pedido: esqueça uma, e decide pelo que sabia antes.
No seu melhor, portanto, chamar o modelo sempre é certo e atual, desde que cada correção viaje com cada pedido, e nunca é barato. Manter as correções a viajar é um trabalho em si: alguém tem de reparar em cada mudança, acrescentá-la a cada prompt que precise dela e retirar a regra que ela substituiu.
Num fluxo de 3,000 decisões em que as regras mudaram cinco vezes, o modelo sozinho chegou a 59.8% de precisão, e apenas a 2.3% nas decisões afetadas por essas mudanças. Sem ninguém a enviar as novas regras, continuou a aplicar as antigas, e quase todas as decisões foram pagas pelo caminho.
Uma decisão chega ao modelo, que a resolve do zero, e a chamada é paga.
Uma cache é barata até as regras mudarem.
Uma cache é a resposta óbvia à fatura. Quando um pedido se parece com um já respondido, devolve a resposta que guardou e salta a chamada ao modelo. Em trabalho familiar é rápida, barata e, enquanto nada mudar, certa.
O que uma cache sabe é o que foi perguntado e o que foi respondido, mas não porquê. Quando a regra muda, nada lhe diz que respostas suas a mudança afetou, e os pedidos parecem iguais aos de antes. Por isso continua a servir as respostas antigas, com toda a confiança, até alguém encontrar e limpar à mão cada uma das desatualizadas.
No seu melhor, uma cache é barata e certa naquilo que já viu: duas das três, com o atual como preço. No mesmo teste, chegou a hora de pagar esse preço. Uma cache levou a precisão global a 77.3%, e caiu para 42.6% nas decisões afetadas pela mudança de regra.
O Duplex aprende a decisão e não a resposta: a regra por trás dela, porque estava certa e onde se aplica. Quando a regra muda, segue a nova a partir do próximo pedido, e tudo o resto que aprendeu fica como estava. Nas decisões afetadas pela mudança, o Duplex acertou 92.5% das vezes.
Antes de a regra mudar, uma cache responde corretamente a pedidos conhecidos, e a baixo custo.
O Duplex chega às três.
O Duplex é uma segunda inteligência ao lado do seu modelo de IA, e muda quem faz o quê. As decisões que a sua equipa já resolveu, responde-as o próprio Duplex, em milissegundos e sem chamada ao modelo. O que é novo vai para a sua IA, informada com o que o Duplex sabe sobre o caso, e assim que a sua equipa confirma o resultado, o Duplex também aprende com ele.
Cada vértice decorre de aprender enquanto o trabalho acontece. As respostas estão certas porque o Duplex as aprendeu com resultados que a sua equipa confirmou. São atuais porque uma mudança se aplica a partir do próximo pedido, quando o retreino esperaria pelo treino seguinte. E são acessíveis porque uma decisão que o Duplex aprendeu não precisa de chamada ao modelo, por isso quanto mais aprende, menos custa cada pedido.
Nas mesmas 3,000 decisões, o Duplex ao lado do mesmo modelo chegou a 94.6% de precisão, a mais alta do teste, com 90.3% menos chamadas ao modelo do que o modelo sozinho e um custo 84.8% mais baixo. Uma cache fez ainda menos chamadas, e pagou-as em respostas desatualizadas assim que a regra mudou.
A troca entre certo, atual e acessível nunca foi uma lei da natureza. Veio de abordagens que voltam a pensar todas as vezes, que nunca voltam a pensar, ou que só voltam a pensar quando chega a hora de um treino. Uma inteligência que aprende com cada resultado não tem de escolher: sabe o que a sua equipa já resolveu e segue o que mudou, e o seu modelo só é pago pelo que é novo.