Deux clients écrivent le même matin. « Puis-je me faire rembourser ceci ? » Est une question de remboursement que votre équipe a tranchée depuis longtemps. « Puis-je me faire rembourser cette carte cadeau ? » Se lit presque pareil, et appelle une autre réponse, car les cartes cadeaux donnent droit à un avoir, pas à des espèces.
Tout ce qui répond par ressemblance confond les deux. Le second client reçoit la politique de remboursement, livrée avec la même assurance qu’au premier, et rien ne le signale, car rien ne paraissait anormal. Une bonne réponse lente vous coûte une minute. Une mauvaise réponse donnée avec assurance part avec votre nom dessus, et vous l’apprenez par la réclamation, ou vous ne l’apprenez jamais.
Duplex sait ce qu’il sait. Il répond à ce qu’il a appris, quelle que soit la formulation de la requête, et il sait reconnaître une requête qui n’a que l’air familier. Celle-là va à votre IA, informée de ce que Duplex sait du cas. C’est sur la frontière entre les deux que se loge le risque, et Duplex la trace bien plus nettement qu’un cache.
Duplex répond aussitôt à une requête qu’il a apprise.
Les faux doublons sont le cas difficile.
Les requêtes ne se divisent pas seulement en familières et nouvelles. Certaines répètent mot pour mot un cas que votre équipe a tranché. D’autres sont le même cas formulé autrement : « Je voudrais un remboursement pour ceci, s’il vous plaît. » D’autres n’ont que l’air familier, comme la carte cadeau : le même sujet, presque les mêmes mots, et une différence qui change la réponse. Plus loin se trouvent des requêtes clairement nouvelles, comme un remboursement pour une commande scindée en deux, et d’autres venues d’un tout autre domaine.
Les deux extrémités sont faciles. Une répétition exacte peut recevoir la réponse décidée auparavant, et une requête d’un autre domaine est facile à écarter. Le risque se loge au milieu, là où une requête est assez proche pour passer pour familière et assez différente pour que l’ancienne réponse soit fausse. Ce milieu compte davantage chaque année, car de plus en plus de réponses se traduisent désormais directement en actions : quand un agent agit sur un faux doublon, la mauvaise réponse devient un mauvais remboursement, et personne ne la relit avant.
Les outils habituels font chacun bien une partie du travail. Une règle écrite à la main est précise sur ce qu’elle nomme : elle attrape « carte cadeau » et laisse passer « bon d’achat ». Un cache répond instantanément à une répétition exacte, pour presque rien. La recherche va plus loin et trouve ce qui se ressemble, ce qui donne à votre IA un contexte utile. Tous trois s’en tiennent à la surface d’une requête, si bien que le faux doublon reçoit l’ancienne réponse, servie avec la même assurance que la vraie répétition.
Duplex apprend ce dont dépend une décision, pas seulement les mots qui l’ont portée. Il répond donc à la même requête formulée autrement, et il remarque quand une requête d’apparence familière diffère sur le point qui compte. « Je voudrais un remboursement pour ceci, s’il vous plaît » reçoit une réponse immédiate, et la carte cadeau va à votre IA. Noté sur 1 pour distinguer le connu du neuf, Duplex a atteint 0.996 et un cache 0.930, un écart qui paraît faible jusqu’à ce qu’on voie où il se situe : sur les faux doublons.
Les requêtes connues d’un côté, les nouvelles de l’autre : celui qui répond doit les distinguer.
Moins de mauvaises réponses, parce qu’il passe la main sur ce qui est nouveau.
Le cerveau fonctionne avec deux systèmes : un lent pour les connaissances générales, et un rapide pour chaque nouvelle expérience. Votre IA est le lent, et Duplex est le rapide. Ce duo ne fonctionne que si le rapide sait où s’arrête son savoir. Une requête que Duplex a apprise reçoit une réponse immédiate, sans appel au modèle. Une requête nouvelle, ou qui n’a que l’air familier, va à votre IA, informée de ce que Duplex sait du cas, si bien que le modèle part du contexte de votre équipe plutôt que de rien.
Sur dix exécutions, Duplex s’est trompé sur 7.5% des faux doublons trompeurs. Un cache, sur les mêmes requêtes, s’est trompé dans 45.3% des cas, environ six fois plus souvent. Et Duplex n’a pas acheté cette sûreté en refusant du travail : il a répondu lui-même à 95.78% des requêtes connues, et à chaque réglage de confiance, il a traité une plus grande part du travail connu et fait moins de suppositions risquées sur le travail nouveau.
Comptez un passage de relais correct à votre IA pour ce qu’il est, la bonne décision, et Duplex a traité correctement 98.98% de toutes les requêtes. En production, c’est le chiffre à surveiller : la fréquence à laquelle chaque requête aboutit chez celui qui doit y répondre, plutôt que la fréquence à laquelle un système accepte de répondre. Un système qui répond à tout obtient une bonne note en bonne volonté et une mauvaise en confiance.
Cela change la latitude que vous pouvez lui laisser. Un système qui devine doit être surveillé sur tout, car n’importe quelle réponse peut être la mauvaise. Un système qui connaît ses limites peut se voir confier d’emblée le travail familier, votre IA prenant ce qui est nouveau. C’est la différence entre une recrue dont vous vérifiez chaque réponse et un collègue à qui vous confiez la routine, et qui vous consulte quand un cas sort de l’ordinaire.
Et la frontière se déplace. Chaque résultat que votre équipe confirme sur un cas nouveau apprend ce cas à Duplex, si bien que la prochaine requête du même genre reçoit sa réponse de ce côté-ci de la frontière, en quelques millisecondes. Votre IA garde le travail qu’elle fait le mieux, le nouveau et le difficile, et moins de mauvaises réponses données avec assurance partent avec votre nom dessus. Un système qui sait ce qu’il sait mérite qu’on lui confie un peu plus chaque semaine.
Sur des faux doublons trompeurs, un cache a servi la réponse stockée et s’est trompé dans 45.3% des cas.