Quando un’azienda ti mostra un grafico che la vede in testa, la prima cosa da chiedere è chi ha scritto il test. Un test progettato da te tende a misurare ciò in cui sei bravo, per quanto tu stia attento. Scegli tu i compiti, i dati e i criteri di punteggio, e dall’esterno nessuno può dire quanto del risultato dipenda dal prodotto e quanto dal test.
I risultati che valgono di più sono quelli ottenuti sul terreno di altri: un test costruito da persone che non hanno alcun interesse nel tuo prodotto, svolto sugli stessi compiti di tutti gli altri e valutato da chi l’ha scritto. Non scegli tu le domande, e non puoi cambiare le regole in corsa. È la differenza tra vincere in casa e vincere in trasferta.
World of Workflows è un terreno di questo tipo. I suoi autori l’hanno costruito su ServiceNow e assegnano i punteggi con il proprio valutatore. Duplex è sceso in campo contro tre modelli di frontiera e ne è uscito in testa nel prevedere come cambia il sistema, senza una sola chiamata al modello.
World of Workflows: un benchmark pubblico su ServiceNow, valutato dai suoi stessi autori.
Il test di altri, la valutazione di altri.
Il benchmark mette l’IA dentro il tipo di sistema in cui si svolge il lavoro aziendale: incidenti, richieste e approvazioni, ognuno con le sue regole su cosa viene dopo. Un agente che lavora in ServiceNow deve capire cosa farà un’operazione, oltre a cosa chiede la richiesta. Una delle cose che il benchmark verifica è se riesci a prevedere come cambia il sistema dopo un’operazione.
Ogni compito veniva dagli autori del benchmark, che lavorano in modo indipendente da Vareon. Duplex e tre modelli di frontiera hanno risposto agli stessi compiti, su tre tracce offline, tre prove ciascuno, e il valutatore degli autori ha valutato ogni prova. L’azienda sotto esame non ha scelto né le domande né i criteri di valutazione.
È questo che rende il risultato degno di fiducia e facile da ripetere. Chiunque può prendere lo stesso benchmark, eseguirlo allo stesso modo e valutarlo con lo stesso valutatore, e ottenere un numero che significa la stessa cosa per tutti quelli che hanno sostenuto il test.
E la concorrenza era agguerrita. GPT-5.1, Gemini 3 Pro e Claude Sonnet 4.5 sono modelli di frontiera, ciascuno tra i modelli generali più capaci del suo tempo, e portano ampia conoscenza e ragionamento accurato a qualsiasi compito ricevano. Su un terreno che nessuno di loro aveva scelto, la domanda era la stessa per tutti e quattro: cosa cambierà questa operazione?
Gli autori del benchmark hanno costruito i compiti su ServiceNow, in modo indipendente da Vareon.
Il migliore nel prevedere cosa cambia.
Prevedere quel cambiamento è più difficile di quanto sembri. A seconda di come un team ha configurato il sistema, risolvere un incidente può chiudere le attività collegate o avvisare un intero gruppo. Questi effetti stanno nelle regole del sistema e non nelle parole della richiesta, quindi un modello che legge la richiesta deve arrivarci ragionando, a partire da una conoscenza generale di sistemi simili.
Duplex l’ha previsto meglio di tutti. Ha ottenuto 0.256, contro 0.205 di Gemini 3 Pro, 0.204 di Claude Sonnet 4.5 e 0.166 di GPT-5.1, e il vantaggio è statisticamente significativo rispetto a tutti e tre, sugli stessi compiti.
E lo ha fatto senza chiamate al modello. Duplex ha fatto 570 previsioni con zero costi di modello, mentre 84 previsioni su un modello di frontiera sono costate $13.40. Su un benchmark il divario è piccolo, in produzione è grande, perché un agente si pone la stessa domanda prima di ogni operazione, tutto il giorno.
La differenza sta in ciò che ciascuno porta. Un modello di frontiera è intelligenza generale, imparata lentamente, come la neocorteccia: conosce il mondo. Duplex è intelligenza a runtime, rapida, come l’ippocampo: impara come si comporta questo sistema da ciò che vi accade, quindi prevedere il prossimo cambiamento è qualcosa che sa, non qualcosa che deve elaborare.
I tuoi agenti possono guardare prima di agire.
Un agente che lavora nei tuoi sistemi cambia cose reali. Chiude incidenti, riassegna richieste e comunica alle persone cosa è successo. Gli errori costosi sono quelli che non ha visto arrivare: un incidente risolto senza la nota di chiusura necessaria, o un richiedente avvisato prima che qualcosa fosse risolto. Quando qualcuno se ne accorge, il cambiamento è già avvenuto.
Duplex impara come si comportano i tuoi sistemi: cosa cambia ogni azione e cosa viene dopo. Così, prima che il tuo agente esegua un’operazione, Duplex può dirgli cosa cambierà, lo stato, la nota e chi viene avvisato, e l’agente lo controlla prima, come un collega scrupoloso guarda prima di premere il pulsante. Se la previsione mostra che il richiedente verrebbe avvisato prima che la soluzione sia confermata, l’agente può fermarsi e chiedere.
La previsione non è tutto il lavoro, e il benchmark mostra dove passa il confine. Nel recupero esatto dell’azione, cioè nell’indicare l’operazione precisa con ogni dettaglio giusto, Duplex ha pareggiato con GPT-5.1 e Gemini 3 Pro. È un lavoro in cui il ragionamento di un modello si guadagna il suo posto, quindi Duplex risponde a ciò che ha imparato e la tua IA si occupa del resto. Ogni risultato che il tuo team conferma sposta un po’ più di quel lavoro su Duplex.
Un risultato ottenuto sul terreno di altri è un risultato su cui puoi costruire i tuoi piani. Su un test che non ha scritto, valutato dai suoi stessi autori, Duplex ha visto cosa avrebbe cambiato ogni operazione meglio di tre modelli di frontiera, senza spendere nulla in costi di modello. Con Duplex che impara dai tuoi sistemi, i tuoi agenti ottengono lo stesso: ogni operazione verificata rispetto a ciò che cambierà, prima di essere eseguita.
Il tuo agente sta per eseguire un’operazione: risolvere un incidente nel tuo sistema.