Prédire ce qui change ensuite.
Étape 1 sur 4 : Une opération
A battu trois modèles de pointe dans la prédiction des changements système.
World of Workflows est un benchmark public d’entreprise construit sur ServiceNow : après chaque opération, prédire comment les enregistrements du système changent. Duplex a appris les Workflows au fil de l’eau, sans appel au modèle, et a été noté par le code du benchmark lui-même.
World of Workflows, par Skyfall Research, sur ServiceNow.
- 0.256Score de prédiction des changements systèmeGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204
- $0Dépenses de modèle570 prédictions pour zéro appel ; 84 sur un modèle de pointe ont coûté $13.40
- ~80%Décisions traitées à partir de ce qu’il a apprisVotre IA a pris le reste
Devant GPT-5.1, Gemini 3 Pro et Claude Sonnet 4.5.
Prédiction d’état sur trois exécutions, comparée cas par cas ; l’avance est significative face aux trois.
Étape 1 sur 2 : Le score
Pour prédire l’évolution des fiches, Duplex a obtenu 0.256, devant Gemini 3 Pro à 0.205, Claude Sonnet 4.5 à 0.204 et GPT-5.1 à 0.166.
Duplex d’abord, votre modèle derrière.
Duplex répond à ce qu’il peut et passe le reste à GPT-5.6.
Étape 1 sur 2 : Tout au modèle
Envoyer les 806 décisions à GPT-5.6 coûterait environ $129, à chaque exécution.
Comment il a été mené.
- Benchmark
- World of Workflows, par Skyfall Research, construit sur ServiceNow : public, sous licence mit.
- Le travail
- Prédire comment les enregistrements changent après une opération, et déterminer quelle opération a causé un changement.
- Notation
- Le code de notation du benchmark lui-même, non modifié, vérifié par rapport aux chiffres publiés par les auteurs.
- Comment Duplex a fonctionné
- Chaque étape prédite avant que la réponse ne soit montrée, en n’apprenant que des étapes déjà notées, sans appel au modèle.
- Comparé à
- Les fichiers de prédictions publiés par les auteurs du benchmark pour GPT-5.1, Gemini 3 Pro et Claude Sonnet 4.5.
- Échelle
- Trois exécutions de 570 prédictions, avec des tests de significativité appariés sur les mêmes cas.
Ce que cela signifie pour votre travail.
Il apprend comment vos systèmes se comportent.
Duplex a prédit les changements d’enregistrements ServiceNow mieux que trois modèles de pointe.
Sans coût de modèle.
570 prédictions par exécution, sans appel au modèle.
Votre modèle là où il aide.
En répondant d’abord, avec GPT-5.6 derrière lui, Duplex a pris environ 80% des décisions et a réduit la facture d’environ $129 à $29.
Voyez-le sur votre propre travail.
De votre propre assistant à chaque agent qu’exploite votre entreprise, un pilote fait tourner Duplex sur votre propre travail, avec des indicateurs convenus avant son lancement.