Chaque mois, la facture du modèle arrive un peu plus salée, et rien n’a mal tourné. Davantage de membres de votre équipe utilisent l’assistant, davantage d’agents tournent toute la nuit, et chacun d’eux appelle le modèle. C’est ainsi que se tarife l’intelligence louée : à l’appel. Plus votre IA en fait pour vous, plus vous payez, et le succès se traduit en coût.
Regardez à quoi servaient ces appels, et c’est le même travail qui revient sans cesse : la question de remboursement que votre support a tranchée au printemps, le choix de routage qui envoie un type de ticket vers la même file à chaque fois, l’exception que votre responsable financier a expliquée une fois, et que le modèle a dû retrouver seul à chaque fois depuis. Votre IA résout chacun de ces cas à partir de zéro et le facture plein tarif, la centième fois autant que la première.
Duplex change cela. C’est une seconde intelligence aux côtés de votre modèle d’IA, et il apprend les décisions qui reviennent sans cesse dans votre travail. Chaque décision qu’il apprend n’exige plus d’appel payant au modèle, si bien que plus Duplex tourne longtemps, moins chaque décision coûte. Et comme il apprend des résultats que votre équipe confirme, une plus grande part de ces décisions sont justes.
Votre IA facture le même prix chaque fois qu’elle résout un problème connu.
Chaque résultat confirmé fait baisser le coût suivant.
Un modèle n’a aucun moyen de devenir moins cher sur votre travail, car votre travail ne le change pas. Il a appris le monde avant sa sortie, et chaque appel repart de là, plus ce qu’apporte le prompt. Un cas difficile que personne n’a jamais vu reçoit tout son raisonnement, et c’est bien ce que vous voulez. Une question à laquelle votre équipe a répondu il y a des mois y a droit aussi, au même prix, et une grande partie de ce qui parvient à votre IA relève de ce second genre.
Les équipes luttent contre la facture avec bon sens. Un prompt plus court allège chaque appel. Un modèle plus petit coûte moins cher, et pour un travail facile, c’est un échange honnête. Un cache répond à une répétition pour presque rien, et quand la répétition est exacte, il est difficile de faire mieux. Tous aident, et aucun ne change la donne : chaque appel au modèle reste payant, et un cache ne connaît que ce qui se ressemble, si bien qu’il donne l’ancienne réponse à un faux doublon et continue de la donner après le changement de vos règles.
Duplex, lui, apprend. Quand votre équipe confirme un résultat, Duplex apprend la décision qui le sous-tend, et la prochaine requête du même genre reçoit sa réponse de Duplex lui-même, sans appel au modèle. Sur un flux de 3,000 décisions, une décision apprise revenait en 97 ms environ. Un appel au modèle prenait 2,231 ms environ, et vous payiez chacun d’eux. Pour un client qui attend dans un chat, c’est la différence entre une réponse instantanée et une pause qu’il remarque.
Ainsi, chaque décision que votre équipe confirme sort de la facture à partir de ce moment-là. Les questions de politique, les choix de routage et les exceptions familières qui forment une si grande part du trafic passent à Duplex un à un, et votre IA consacre ses efforts là où son prix vaut d’être payé : à ce qui est nouveau, informée de ce que Duplex sait du cas. Une fois la réponse à ce nouveau cas approuvée, Duplex le prend en charge à son tour.
Une grande part de ce qui arrive à votre modèle est une décision qu’il a déjà prise, maintes fois.
Le coût baisse à mesure que la précision augmente.
Coût et précision tirent d’ordinaire en sens contraire. Pour obtenir plus de bonnes réponses, vous payez un modèle plus gros, un prompt plus long ou une seconde vérification, et pour dépenser moins, vous acceptez plus d’erreurs. Quiconque a fait tourner de l’IA en production a poussé ce curseur dans les deux sens, à la recherche d’un réglage où les deux s’améliorent.
Avec Duplex, les deux avancent ensemble, dans le sens que vous voulez. Sur ces 3,000 décisions, avec cinq changements de règle en cours de route, sa précision est passée de 85.0% à 94.6% tandis que le coût de chaque décision baissait d’environ deux tiers. Chaque décision qu’il apprend reçoit la réponse que votre équipe a décidée, sans appel à payer, et une correction faite une fois s’applique à chaque fois ensuite. Chaque résultat qu’il apprend améliore donc les deux.
Face au même modèle travaillant seul sur les mêmes décisions, Duplex a fait 90.3% d’appels au modèle en moins, pour un coût réduit de 84.8%, et il a vu juste bien plus souvent : 94.6% contre 59.8%. L’écart a été le plus net après les changements de règles. Sur les décisions touchées par ces changements, Duplex a vu juste dans 92.5% des cas, et le modèle seul dans 2.3%. Le modèle doté d’un cache a atteint 42.6%, et une réponse bon marché n’a rien d’une économie quand elle suit l’ancienne règle.
Le résultat a tenu à chaque réglage testé. Sur huit réglages, Duplex est resté entre 94.1% et 94.8% de précision, pour environ un septième du coût du modèle seul, alors qu’un cache n’a pas dépassé 77.3%. Et la courbe n’a pas besoin de partir d’en haut : pré-entraînez Duplex sur ce que votre équipe sait déjà, et les économies commencent dès le premier jour.
Avec un modèle loué, c’est l’usage que vous payez, et chaque succès alourdit la facture. Avec Duplex à ses côtés, c’est l’usage qui rend le travail moins cher : chaque résultat que votre équipe confirme rend la prochaine décision du même genre plus rapide, moins chère et plus susceptible d’être juste. Continuez de payer votre IA pour ce qui est nouveau et difficile, le travail qu’elle fait le mieux, et laissez tout ce que votre équipe a déjà tranché coûter moins chaque mois.
Face au modèle seul, Duplex a réduit les appels au modèle de 90.3% sur les mêmes 3,000 décisions.