Dois clientes escrevem na mesma manhã. “Posso receber o dinheiro de volta por isto?” É uma questão de reembolso que a sua equipa resolveu há muito. “Posso receber o dinheiro de volta por este cartão-oferta?” Lê-se quase igual, e precisa de outra resposta, porque os cartões-oferta dão crédito em loja, não dinheiro.
Tudo o que responde por semelhança trata os dois como um só. O segundo cliente recebe a política de reembolsos, dada com a mesma confiança que ao primeiro, e nada o assinala, porque nada parecia errado. Uma resposta certa mas lenta custa-lhe um minuto. Uma errada mas confiante sai com o seu nome, e fica a saber dela pela reclamação, ou nunca chega a saber.
O Duplex sabe o que sabe. Responde ao que aprendeu, seja qual for a formulação do pedido, e consegue perceber quando um pedido só parece familiar. Esse vai para a sua IA, informada com o que o Duplex sabe sobre o caso. A linha entre os dois é onde mora o risco, e o Duplex traça-a com muito mais nitidez do que uma cache.
Um pedido que o Duplex aprendeu é respondido de imediato.
Os casos parecidos são o caso difícil.
Os pedidos não se dividem só em familiares e novos. Alguns repetem palavra por palavra um caso que a sua equipa já resolveu. Outros são o mesmo caso com outras palavras: “Queria um reembolso disto, por favor.” Outros só parecem familiares, como o do cartão-oferta: o mesmo assunto, quase as mesmas palavras, e uma diferença que muda a resposta. Mais longe ficam os pedidos claramente novos, como o reembolso de uma encomenda dividida em duas, e alguns de uma área completamente diferente.
Os dois extremos são fáceis. Uma repetição exata pode ser respondida como foi decidida antes, e um pedido de outra área é fácil de pôr de lado. O risco está no meio, onde um pedido é próximo o suficiente para passar por familiar e diferente o suficiente para que a resposta antiga esteja errada. Esse meio pesa mais a cada ano, porque cada vez mais respostas se transformam logo em ações: quando um agente age sobre um caso parecido, a resposta errada torna-se um reembolso errado, e ninguém a lê antes.
As ferramentas habituais fazem, cada uma, bem uma parte do trabalho. Uma regra escrita à mão é precisa sobre o que nomeia: apanha “cartão-oferta” e deixa escapar “vale”. Uma cache responde de imediato a uma repetição exata, quase de graça. A recuperação vai mais longe e encontra o que parece semelhante, o que dá à sua IA contexto útil. As três guiam-se pela superfície de um pedido, por isso o caso parecido recebe a resposta antiga, servida com a mesma confiança que a verdadeira repetição.
O Duplex aprende aquilo de que uma decisão depende, além das palavras em que chegou. Por isso responde ao mesmo pedido com outras palavras, e repara quando um pedido com ar familiar difere naquilo que importa. “Queria um reembolso disto, por favor” é respondido de imediato, e o cartão-oferta vai para a sua IA. Numa pontuação sobre 1 a distinguir o familiar do novo, o Duplex chegou a 0.996 e uma cache a 0.930, uma diferença que parece pequena até se ver onde cai: nos casos parecidos.
Pedidos conhecidos de um lado, novos do outro: quem responde tem de os distinguir.
Menos respostas erradas, porque passa adiante o que é novo.
O cérebro trabalha com dois sistemas: um lento para o conhecimento geral, e um rápido para cada nova experiência. A sua IA é o lento, e o Duplex é o rápido. A dupla só funciona se o rápido souber onde acaba o seu conhecimento. Um pedido que o Duplex aprendeu é respondido de imediato, sem chamada ao modelo. Um pedido que é novo, ou só parece familiar, vai para a sua IA, informada com o que o Duplex sabe sobre o caso, por isso o modelo parte do contexto da sua equipa e não do zero.
Em dez execuções, o Duplex errou em 7.5% dos casos parecidos enganadores. Uma cache, nos mesmos pedidos, errou 45.3% das vezes, cerca de seis vezes mais. E o Duplex não comprou essa segurança a recusar trabalho: respondeu ele próprio a 95.78% dos pedidos conhecidos, e em todos os níveis de confiança tratou mais trabalho conhecido e fez menos palpites inseguros em trabalho novo.
Conte uma passagem correta à sua IA como aquilo que é, a decisão certa, e o Duplex tratou corretamente 98.98% de todos os pedidos. Em produção, é esse o número a acompanhar: quantas vezes cada pedido acaba com quem lhe deve responder, e não quantas vezes um sistema está disposto a responder. Um sistema que responde a tudo tem boa nota em disponibilidade e má nota em confiança.
Isso muda até onde o pode deixar ir. Um sistema que adivinha tem de ser vigiado em tudo, porque qualquer resposta pode ser a errada. A um sistema que conhece os seus limites pode entregar-se o trabalho familiar sem reservas, com a sua IA a ficar com o que é novo. É a diferença entre um recém-contratado cujas respostas verifica uma a uma e um colega a quem confia a rotina, e que fala consigo quando um caso não lhe é familiar.
E a fronteira mexe-se. Cada resultado que a sua equipa confirma num caso novo ensina esse caso ao Duplex, por isso o próximo pedido do mesmo tipo é respondido do lado de cá, em milissegundos. A sua IA fica com o trabalho que faz melhor, o novo e o difícil, e saem menos respostas erradas e confiantes com o seu nome. A um sistema que sabe o que sabe pode confiar-se um pouco mais todas as semanas.
Em casos parecidos enganadores, uma cache serviu a resposta guardada e errou 45.3% das vezes.