Prevedere cosa cambia dopo.
Passaggio 1 su 4: Un’operazione
Ha battuto tre modelli di frontiera nel prevedere i cambiamenti di sistema.
World of Workflows è un benchmark aziendale pubblico costruito su ServiceNow: dopo ogni operazione, prevedere come cambiano i record del sistema. Duplex ha imparato i flussi di lavoro strada facendo, senza chiamate al modello, ed è stato valutato con il codice del benchmark stesso.
World of Workflows, di Skyfall Research, su ServiceNow.
- 0.256Punteggio di previsione dei cambiamenti di sistemaGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204
- $0Spesa per il modello570 previsioni a zero chiamate; 84 su un modello di frontiera costano $13.40
- ~80%Decisioni risolte in base a ciò che ha appresoIl resto l’ha preso la tua IA
Davanti a GPT-5.1, Gemini 3 Pro e Claude Sonnet 4.5.
Previsione dello stato su tre prove, confrontata caso per caso; il vantaggio è significativo rispetto a tutti e tre.
Passaggio 1 su 2: Il punteggio
Nel prevedere come cambiano i record, Duplex ha ottenuto 0.256, davanti a Gemini 3 Pro con 0.205, Claude Sonnet 4.5 con 0.204 e GPT-5.1 con 0.166.
Prima Duplex, dietro il tuo modello.
Duplex risponde a ciò che può e passa il resto a GPT-5.6.
Passaggio 1 su 2: Tutto al modello
Inviare tutte le 806 decisioni a GPT-5.6 costerebbe circa $129, a ogni prova.
Come è stato condotto.
- Benchmark
- World of Workflows, di Skyfall Research, costruito su ServiceNow: pubblico, con licenza MIT.
- Il lavoro
- Prevedere come cambiano i record dopo un’operazione, e capire quale operazione ha causato un cambiamento.
- Punteggio
- Il codice di valutazione del benchmark stesso, non modificato, verificato rispetto ai numeri pubblicati dagli autori.
- Come ha lavorato Duplex
- Ogni passaggio previsto prima che venisse mostrata la risposta, imparando solo dai passaggi già valutati, senza chiamate al modello.
- Confrontato con
- I file di previsione pubblicati dagli autori del benchmark per GPT-5.1, Gemini 3 Pro e Claude Sonnet 4.5.
- Scala
- Tre prove da 570 previsioni, con test di significatività appaiati sugli stessi casi.
Cosa significa per il tuo lavoro.
Impara come si comportano i tuoi sistemi.
Duplex ha previsto i cambiamenti dei record di ServiceNow meglio di tre modelli di frontiera.
Senza costi di modello.
570 previsioni per esecuzione, senza chiamate al modello.
Il tuo modello dove serve.
Rispondendo per primo con GPT-5.6 alle spalle, Duplex ha preso circa l’80% delle decisioni e ha ridotto il conto da circa $129 a $29.
Vedilo all’opera sul tuo lavoro.
Dal tuo assistente a ogni agente che fa girare la tua azienda, un progetto pilota fa girare Duplex sul tuo lavoro, con le metriche concordate prima di iniziare.