Cosa offre Duplex, in numeri.
Ogni numero accanto a ciò che ha battuto: il modello da solo, una cache, il retrieval o il fine-tuning.
- −90.3%Chiamate al modello, più precisioneAccuratezza del 94.6%, contro il 59.8% del modello da solo
- 0%Risposte obsolete dopo un cambio di regolaCache e retrieval: 72%
- 6 / 6Test in cui Duplex ha battuto il fine-tuning+30.3 punti in media, senza ciclo di addestramento
- 3 / 3Modelli di frontiera battuti nel prevedere i cambiamenti di sistemaSu un benchmark aziendale pubblico, senza chiamate al modello
Un flusso di 3,000 decisioni, in tre modi.
Passaggio 1 su 3: Accuratezza
Tutti i risultati.
Il 90% di chiamate al modello in meno, e più accurato.
94.6%Accuratezza, la più alta del testIl modello da solo 59.8% · con una cache 77.3%- −90.3% Chiamate all’IA · Costo −84.8% · latenza −81.9%
- ~23× Più rapido se appreso · ≈97 ms contro ≈2,231 ms
Un flusso di 3,000 decisioni in cui le regole sono cambiate cinque volte, contro il modello di frontiera da solo e con una cache semantica; una prova da 300 decisioni ha aggiunto una cache con retrieval e un grafo della conoscenza. Ogni approccio ha usato lo stesso modello.
Più accurato con ogni impostazione, a un settimo del costo.
Dal 94.1 al 94.8%Accuratezza di Duplex, in ciascuna delle otto impostazioniIl massimo raggiunto da una cache: 77.3%- Dall’84 al 91% Su tre nuove esecuzioni da 1,000 decisioni · Il massimo raggiunto da una cache: circa 73%
Un flusso di 3,000 decisioni con ogni approccio testato su tutta la sua gamma di impostazioni, poi tre nuove esecuzioni da 1,000 decisioni in una seconda configurazione indipendente.
Continua a imparare senza dimenticare, diventare obsoleto o crescere.
5 / 5Requisiti per l’apprendimento in produzione, tutti soddisfatti in ogni esecuzioneCache e retrieval in media 2.2 / 5 · fine-tuning online 4 / 5- 0% Risposte obsolete dopo un cambio di policy · Cache e retrieval 72%
- Costante Ingombro nel tempo · Cache e retrieval cresciuti a ≈1,300 righe
Dieci esecuzioni, con la stessa supervisione e gli stessi input per ogni approccio.
Gestisce le formulazioni nuove, e riconosce i casi simili solo in apparenza.
7.5%Risposte sbagliate su richieste simili solo in apparenzaUna cache 45.3%, circa 6× di più- 98.98% Delle richieste gestite correttamente: con risposta giusta, o passate alla tua IA · Duplex ha risolto da sé il 95.78% delle richieste note
- 0.996 Punteggio nel distinguere il familiare dal nuovo, su 1 · Una cache 0.930
Dieci intenti appresi e sei livelli di novità, dalle ripetizioni esatte alle richieste di un altro dominio, su dieci esecuzioni.
Pianifica il percorso più breve, con zero token del modello.
100%Successo dei piani, in ogni esecuzioneUn agente reattivo: 0% · Duplex non ha usato token del modello- 0% Un agente reattivo greedy
- ~204 Token per decisione che un modello di frontiera spende per eguagliarlo
Un mondo in più passaggi su dieci esecuzioni, contro un agente reattivo e un modello di frontiera con lo stesso compito.
Mantiene il successo dei compiti degli agenti, con meno chiamate al modello.
83.3%Compiti riuscitiIl modello a ogni turno: 82.5%- 12.8% Turni completati senza il modello · ≈15% di chiamate al modello in meno
- 100% Successo sui compiti nuovi
Τ-bench (tau2-bench), dominio retail, di Sierra Research. L’ambiente retail non modificato, con lo stesso modello, gli stessi strumenti e lo stesso simulatore di utenti per ogni approccio, su tre esecuzioni da quaranta episodi.
Un costo di lettura stabile, per quanto lunga sia la cronologia.
96%Risposte aggiornate dove un fatto era cambiatoIl fatto nuovo, non quello vecchio- 3.7× Meno lettura per domanda rispetto a leggere l’intera cronologia · Con quaranta sessioni di cronologia
- 84% Accuratezza con quaranta sessioni di cronologia
LongMemEval, di Wu et al., ICLR 2025. Cinquanta domande, ciascuna posta con la cronologia a 2, 5, 10, 20 e 40 sessioni.
Blocca ogni attacco, e lascia passare il lavoro ordinario.
0%Successo degli attacchiSu sei famiglie di attacchi riformulati- 0.7% Falsi rifiuti · Il più basso tra gli approcci che hanno bloccato ogni attacco
- 40 / 40 Campioni avvelenati rimossi · Accuratezza entro 1 punto
Sei famiglie di attacchi, riformulati, con richieste innocue scritte per somigliare agli attacchi.
Impara da solo una nuova competenza, con il modello spento.
100%Compiti completati con il modello spento, in ogni esecuzioneUn modello di frontiera ha avuto bisogno di ≈507 chiamate per esecuzione- 0.26 ms Per riusare una competenza · Con 0 chiamate al modello
- 627 Azioni non sicure rifiutate per esecuzione · E la competenza sicura è stata comunque appresa
Quattro suite su dieci esecuzioni, ciascuna valutata in base alla sua esecuzione peggiore.
Ha battuto tre modelli di frontiera nel prevedere i cambiamenti di sistema.
0.256Punteggio di previsione dei cambiamenti di sistemaGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204- $0 Spesa per il modello · 570 previsioni a zero chiamate; 84 su un modello di frontiera costano $13.40
- ~80% Decisioni risolte in base a ciò che ha appreso · Il resto l’ha preso la tua IA
World of Workflows, di Skyfall Research / ServiceNow. Tre percorsi di valutazione offline, valutati con il valutatore degli autori stessi del benchmark, su tre esecuzioni.
Batte il fine-tuning, senza alcun ciclo di addestramento.
6 / 6Test in cui Duplex ha battuto un adapter con fine-tuning+30.3 punti in media- 0 Riaddestramento per passare a un’altra famiglia di modelli · Gli adapter sono passati in 0 casi su 6
- Dal 60 al 79% Risposta da ciò che ha appreso · Su entrambe le famiglie di modelli
Tre dataset pubblici di intenti, due famiglie di modelli aperti e tre esecuzioni, con lo stesso modello congelato e gli stessi dati per ogni approccio.
Vedilo all’opera sul tuo lavoro.
Dal tuo assistente a ogni agente che fa girare la tua azienda, un progetto pilota fa girare Duplex sul tuo lavoro, con le metriche concordate prima di iniziare.