90% d’appels au modèle en moins, et plus précis.
3,000 décisions d’opérations clients : remboursements, déblocages de compte, plafonds de crédit, versements. Chacune a une seule bonne action parmi environ dix-neuf, ou un refus, et cinq fois en cours de route l’entreprise a changé une règle. Toutes les approches utilisaient GPT-5.5 ; Duplex apprenait au fil de l’eau.
- 94.6%Précision, la plus élevée du testLe modèle seul 59.8% · avec un cache 77.3%
- −90.3%Appels modèleCoût −84.8% · latence −81.9%
- ~23×Plus rapide sur l’acquis≈97 ms contre ≈2,231 ms
3,000 décisions, et où chacune est allée.
Traitées par Duplex lui-même, passées à GPT-5.5, ou refusées.
3,000 décisions arrivent : remboursements, déblocages, plafonds de crédit et versements, en plus de 2,000 formulations.
Après un changement de règle, qui a donné la nouvelle réponse.
Sur 100 décisions touchées par un changement de règle.
GPT-5.5 ne peut pas connaître le changement d’une règle interne : il a donné l’ancienne réponse 97% du temps.
Plus le flux est long, meilleurs sont les chiffres.
Le même travail sur un flux de 300 décisions et sur un flux de 3,000 décisions.
Duplex était précis à 85.0% sur un flux de 300 décisions, et à 94.6% sur 3,000.
La facture, et l’attente.
GPT-5.5 seul contre GPT-5.5 avec Duplex, sur les mêmes 3,000 décisions.
Chaque tranche de 1,000 décisions coûtait $0.13 avec Duplex, et $0.82 avec GPT-5.5 seul.
Comment il a été mené.
- Le travail
- Décisions d’opérations clients : remboursements, déblocages de compte, plafonds de crédit, versements, accès et escalade de fraude. Une seule bonne action parmi environ dix-neuf, ou un refus.
- Le flux
- 3,000 décisions en plus de 2,000 formulations, dont 68% formulées d’une manière jamais vue, avec de nouveaux types de requêtes arrivant en cours de route.
- Règles modifiées
- Cinq changements de règle internes, chacun inversant la bonne action pour un type de requête ; 1,073 décisions sont venues après un changement.
- Retours
- La bonne réponse a été révélée pour environ une décision sur dix, les mêmes pour toutes les approches.
- Modèles
- GPT-5.5, avec de vrais appels API, pour toutes les approches.
- Comparé à
- GPT-5.5 seul, et GPT-5.5 avec un cache sémantique à son meilleur réglage ; sur le flux de 300 décisions, également un cache avec recherche documentaire et graphe de connaissances.
- Conditions égales
- Le même modèle, les mêmes retours et les mêmes règles de refus pour toutes les approches.
Ce que cela signifie pour votre travail.
Votre facture baisse à mesure qu’il apprend.
Duplex a traité lui-même 86% des décisions : 90% d’appels au modèle en moins et un coût inférieur de 85%.
Un changement de règle atteint chaque réponse.
Après le changement de règles, Duplex a donné la nouvelle réponse dans 92.5% des cas ; GPT-5.5 seul, dans 2.3%.
Il s’améliore avec le volume.
De 300 à 3,000 décisions, la précision est passée de 85.0% à 94.6% et le coût par décision a baissé de deux tiers.
Voyez-le sur votre propre travail.
De votre propre assistant à chaque agent qu’exploite votre entreprise, un pilote fait tourner Duplex sur votre propre travail, avec des indicateurs convenus avant son lancement.