Ce que Duplex apporte, en chiffres.
Chaque chiffre à côté de ce qu’il a battu : le modèle seul, un cache, la recherche documentaire ou le fine-tuning.
- −90.3%Appels au modèle, précision accrue94.6% de précision, contre 59.8% pour le modèle seul
- 0%Réponses périmées après un changement de règleCache et recherche documentaire : 72%
- 6 / 6Tests où Duplex a battu le fine-tuning+30.3 points en moyenne, sans aucun entraînement
- 3 / 3Modèles de pointe battus dans la prédiction des changements systèmeSur un benchmark public d’entreprise, sans appel au modèle
Un flux de 3,000 décisions, de trois façons.
Étape 1 sur 3 : Précision
Tous les résultats.
90% d’appels au modèle en moins, et plus précis.
94.6%Précision, la plus élevée du testLe modèle seul 59.8% · avec un cache 77.3%- −90.3% Appels modèle · Coût −84.8% · latence −81.9%
- ~23× Plus rapide sur l’acquis · ≈97 ms contre ≈2,231 ms
Un flux de 3,000 décisions où les règles ont changé cinq fois, face au modèle de pointe seul et avec un cache sémantique ; une exécution de 300 décisions a ajouté un cache avec recherche documentaire et graphe de connaissances. Toutes les approches ont utilisé le même modèle.
Plus précis à chaque réglage, pour un septième du coût.
94.1 à 94.8%Précision de Duplex, sur chacun des huit réglagesLe mieux qu’un cache a atteint : 77.3%- 84 à 91% Sur trois nouvelles exécutions de 1,000 décisions · Le mieux qu’un cache a atteint : environ 73%
Un flux de 3,000 décisions, chaque approche parcourant toute sa plage de réglages, puis trois nouvelles exécutions de 1,000 décisions dans un second dispositif indépendant.
Continue d’apprendre sans oublier, se périmer ni grossir.
5 / 5Exigences de l’apprentissage en production, toutes remplies à chaque exécutionCache et recherche documentaire : 2.2 / 5 en moyenne · fine-tuning en ligne : 4 / 5- 0% Réponses périmées après un changement de politique · Cache et recherche documentaire 72%
- Constante Empreinte au fil du temps · Cache et recherche ont atteint ≈1,300 lignes
Dix exécutions, avec la même supervision et les mêmes entrées pour toutes les approches.
Gère les nouvelles formulations, et repère les faux doublons.
7.5%Mauvaises réponses sur les faux doublonsUn cache 45.3%, environ 6× plus- 98.98% Des requêtes traitées correctement : bonne réponse, ou confiées à votre IA · Duplex a traité lui-même 95.78% des requêtes connues
- 0.996 Score de distinction entre familier et nouveau, sur 1 · Un cache 0.930
Dix intentions apprises et six niveaux de nouveauté, des répétitions exactes aux requêtes d’un autre domaine, sur dix exécutions.
Planifie le chemin le plus court, avec zéro token de modèle.
100%Réussite des plans, à chaque exécutionUn agent réactif : 0% · Duplex n’a utilisé aucun token de modèle- 0% Un agent réactif glouton
- ~204 Tokens par décision qu’un modèle de pointe dépense pour l’égaler
Un monde à plusieurs étapes sur dix exécutions, face à un agent réactif et à un modèle de pointe ayant reçu la même tâche.
Maintient la réussite des tâches d’agents, avec moins d’appels au modèle.
83.3%Tâches réussiesLe modèle à chaque tour : 82.5%- 12.8% Tours menés sans le modèle · ≈15% d’appels au modèle en moins
- 100% Réussite sur les nouvelles tâches
Τ-bench (tau2-bench), domaine retail, par Sierra Research. L’environnement retail non modifié, avec le même modèle, les mêmes outils et le même simulateur d’utilisateur pour toutes les approches, sur trois exécutions de quarante épisodes.
Un coût de lecture stable, quelle que soit la longueur de l’historique.
96%Réponses à jour là où un fait avait changéLe nouveau fait, pas l’ancien- 3.7× Moins de lecture par question qu’en lisant tout l’historique · À quarante sessions d’historique
- 84% Précision à quarante sessions d’historique
LongMemEval, par Wu et al., ICLR 2025. Cinquante questions, chacune posée avec l’historique à 2, 5, 10, 20 et 40 sessions.
Bloque toutes les attaques, et laisse passer le travail ordinaire.
0%Réussite des attaquesSur six familles d’attaques paraphrasées- 0.7% Refus à tort · Le plus bas des approches qui ont bloqué toutes les attaques
- 40 / 40 Exemples empoisonnés retirés · Précision revenue à 1 point près
Six familles d’attaques, paraphrasées, avec des requêtes inoffensives rédigées pour ressembler aux attaques.
Apprend seul une nouvelle compétence, avec le modèle désactivé.
100%Tâches accomplies avec le modèle désactivé, à chaque exécutionUn modèle de pointe a eu besoin de ≈507 appels par exécution- 0.26 ms Pour réutiliser une compétence · Avec 0 appel au modèle
- 627 Actions dangereuses refusées par exécution · Et la compétence sûre a quand même été apprise
Quatre suites sur dix exécutions, chacune notée sur sa pire exécution.
A battu trois modèles de pointe dans la prédiction des changements système.
0.256Score de prédiction des changements systèmeGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204- $0 Dépenses de modèle · 570 prédictions pour zéro appel ; 84 sur un modèle de pointe ont coûté $13.40
- ~80% Décisions traitées à partir de ce qu’il a appris · Votre IA a pris le reste
World of Workflows, par Skyfall Research / ServiceNow. Trois volets hors ligne, notés par l’évaluateur des auteurs du benchmark, sur trois exécutions.
Bat le fine-tuning, sans aucun entraînement.
6 / 6Tests où Duplex a battu un adaptateur fine-tuné+30.3 points en moyenne- 0 Réentraînement pour passer à une autre famille de modèles · Les adaptateurs ont migré dans 0 cas sur 6
- 60 à 79% Réponse tirée de ce qu’il a appris · Sur l’une comme l’autre famille de modèles
Trois jeux de données d’intentions publics, deux familles de modèles ouverts et trois exécutions, avec le même modèle figé et les mêmes données pour toutes les approches.
Voyez-le sur votre propre travail.
De votre propre assistant à chaque agent qu’exploite votre entreprise, un pilote fait tourner Duplex sur votre propre travail, avec des indicateurs convenus avant son lancement.