Todos os meses a fatura do modelo chega um pouco mais alta, e nada correu mal. Há mais gente da sua equipa a usar o assistente, mais agentes a trabalhar durante a noite, e cada um deles chama o modelo. É assim que se cobra a inteligência alugada: à chamada. Quanto mais a sua IA faz por si, mais paga, e o sucesso aparece como custo.
Veja para que serviram essas chamadas, e o mesmo trabalho volta sempre: a questão de reembolsos que a sua equipa de suporte resolveu na primavera, a escolha de encaminhamento que manda um tipo de ticket para a mesma fila todas as vezes, a exceção que o seu responsável financeiro explicou uma vez e que o modelo tem voltado a deduzir desde então. A sua IA resolve cada uma do zero e cobra o preço inteiro, tanto à centésima vez como à primeira.
O Duplex muda isso. É uma segunda inteligência ao lado do seu modelo de IA, e aprende as decisões que o seu trabalho está sempre a tomar. Cada decisão que aprende deixa de precisar de uma chamada paga ao modelo, por isso quanto mais tempo o Duplex funciona, menos custa cada decisão. E como aprende com os resultados que a sua equipa confirma, há cada vez mais decisões que saem certas.
A sua IA cobra o mesmo sempre que resolve um problema conhecido.
Cada resultado confirmado baixa o custo seguinte.
Um modelo não tem como ficar mais barato no seu trabalho, porque o seu trabalho não o muda. Aprendeu o mundo antes de ser lançado, e cada chamada parte daí, mais o que o prompt trouxer. Um caso difícil que ninguém viu antes recebe todo o seu raciocínio, que é o que quer. O mesmo vale para uma pergunta a que a sua equipa respondeu há meses, ao mesmo preço, e grande parte do que chega à sua IA é deste segundo tipo.
As equipas combatem a fatura de formas sensatas. Um prompt mais curto encurta cada chamada. Um modelo mais pequeno baixa o preço, e para trabalho fácil é uma troca justa. Uma cache responde a uma repetição quase de graça, e quando a repetição é exata é difícil de bater. Todas ajudam, e nenhuma muda o acordo: cada chamada que o modelo faz continua a ser paga, e uma cache só conhece o que parece igual, por isso dá a um caso parecido a resposta antiga e continua a dá-la depois de as suas regras mudarem.
O Duplex, em vez disso, aprende. Quando a sua equipa confirma um resultado, o Duplex aprende a decisão por trás dele, e o próximo pedido do mesmo tipo é respondido pelo próprio Duplex, sem chamada ao modelo. Num fluxo de 3,000 decisões, uma decisão aprendida voltou em Cerca de 97 ms. Uma chamada ao modelo demorou Cerca de 2,231 ms, e você pagou cada uma delas. Para um cliente à espera num chat, é a diferença entre uma resposta imediata e uma pausa que se nota.
Assim, cada decisão que a sua equipa confirma sai da fatura a partir daí. As questões de política, as escolhas de encaminhamento e as exceções conhecidas que fazem tanto do tráfego passam para o Duplex uma a uma, e a sua IA gasta o esforço onde vale a pena pagar o seu preço: no que é novo, informada com o que o Duplex sabe sobre o caso. Assim que a resposta a esse caso novo é aprovada, o Duplex passa também a tratar dele.
Muito do que chega ao seu modelo é uma decisão que já tomou, vezes sem conta.
O custo desce enquanto a precisão sobe.
O custo e a precisão costumam puxar em sentidos opostos. Para acertar mais respostas, paga um modelo maior, um prompt mais longo ou uma segunda verificação, e para gastar menos aceita mais erros. Quem já pôs IA em produção já rodou esse botão para os dois lados, à procura de um ponto em que ambos melhorem.
Com o Duplex, os dois andam juntos, no sentido que quer. Ao longo dessas 3,000 decisões, com cinco mudanças de regra pelo caminho, a sua precisão subiu de 85.0% para 94.6%, enquanto o custo de cada decisão descia cerca de dois terços. Cada decisão que aprende é respondida como a sua equipa a decidiu, sem chamada para pagar, e uma correção feita uma vez aplica-se em todas as vezes seguintes. Por isso, cada resultado que aprende melhora as duas coisas.
Comparado com o mesmo modelo a trabalhar sozinho nas mesmas decisões, o Duplex fez 90.3% menos chamadas ao modelo, com um custo 84.8% mais baixo, e acertou muito mais vezes: 94.6% contra 59.8%. A diferença foi maior depois de as regras mudarem. Nas decisões afetadas por essas mudanças, o Duplex acertou 92.5% das vezes, e o modelo sozinho 2.3%. O modelo com uma cache não passou de 42.6%, e uma resposta barata não é poupança nenhuma quando segue a regra antiga.
O resultado manteve-se em todas as definições testadas. Em todas as oito, o Duplex ficou entre 94.1% e 94.8% de precisão, a cerca de um sétimo do que custa o modelo sozinho, enquanto o melhor que uma cache conseguiu foi 77.3%. E a curva não tem de começar lá em cima: pré-treine o Duplex com o que a sua equipa já sabe, e a poupança começa no primeiro dia.
Com um modelo alugado, o uso é aquilo que paga, e cada sucesso aumenta a fatura. Com o Duplex ao lado, o uso é o que torna o trabalho mais barato: cada resultado que a sua equipa confirma torna a próxima decisão do mesmo tipo mais rápida, mais barata e com mais probabilidades de estar certa. Continue a pagar à sua IA pelo que é novo e difícil, o trabalho que ela faz melhor, e deixe que tudo o que a sua equipa já resolveu custe menos todos os meses.
Comparado com o modelo sozinho, o Duplex reduziu as chamadas ao modelo em 90.3% nas mesmas 3,000 decisões.