Ogni mese il conto del modello arriva un po’ più alto, e non è andato storto niente. Più persone del tuo team usano l’assistente, più agenti lavorano tutta la notte, e ognuno di loro chiama il modello. È così che si paga l’intelligenza a noleggio: a chiamata. Più la tua IA fa per te, più paghi, e il successo si presenta sotto forma di costo.
Guarda a cosa servivano quelle chiamate, e vedrai tornare sempre lo stesso lavoro: la domanda sui rimborsi che il tuo team di assistenza ha risolto in primavera, la scelta di instradamento che manda ogni volta un certo tipo di ticket alla stessa coda, l’eccezione che il tuo responsabile finanziario ha spiegato una volta sola e che da allora il modello ha rielaborato ogni volta. La tua IA risolve ognuna da zero e la fa pagare a prezzo pieno, la centesima volta quanto la prima.
Duplex cambia le cose. È una seconda intelligenza accanto al tuo modello di IA, e impara le decisioni che il tuo lavoro richiede di continuo. Ogni decisione che impara non ha più bisogno di una chiamata al modello a pagamento, quindi più a lungo Duplex è in funzione, meno costa ogni decisione. E poiché impara dai risultati che il tuo team conferma, anche le decisioni giuste aumentano.
La tua IA fa pagare lo stesso ogni volta che risolve un problema già noto.
Ogni risultato confermato abbassa il costo successivo.
Un modello non ha modo di diventare più economico nel tuo lavoro, perché il tuo lavoro non lo cambia. Ha imparato il mondo prima di essere rilasciato, e ogni chiamata parte da lì, più ciò che il prompt porta con sé. Un caso difficile mai visto prima riceve tutto il suo ragionamento, ed è ciò che vuoi. Ma lo riceve anche una domanda a cui il tuo team ha risposto mesi fa, allo stesso prezzo, e buona parte di ciò che arriva alla tua IA è di questo secondo tipo.
I team combattono il conto in modi sensati. Un prompt più corto alleggerisce ogni chiamata. Un modello più piccolo costa meno, e per il lavoro facile è uno scambio equo. Una cache risponde a una ripetizione quasi a costo zero, e quando la ripetizione è esatta è difficile fare di meglio. Tutti aiutano, e nessuno cambia il patto di fondo: ogni chiamata al modello si paga comunque, e una cache conosce solo ciò che sembra uguale, quindi dà a un caso simile la vecchia risposta e continua a darla anche dopo che le tue regole sono cambiate.
Duplex, invece, impara. Quando il tuo team conferma un risultato, Duplex impara la decisione che c’è dietro, e alla richiesta successiva dello stesso tipo risponde Duplex stesso, senza chiamata al modello. Su un flusso di 3,000 decisioni, una decisione appresa tornava in Circa 97 ms. Una chiamata al modello richiedeva Circa 2,231 ms, e ognuna si pagava. Per un cliente che aspetta in chat, è la differenza tra una risposta immediata e una pausa che si nota.
Così ogni decisione che il tuo team conferma esce dal conto da quel momento in poi. Le domande sulle policy, le scelte di instradamento e le eccezioni note che formano tanta parte del traffico passano a Duplex una dopo l’altra, e la tua IA spende il suo impegno dove vale la pena pagarne il prezzo: su ciò che è nuovo, informata su ciò che Duplex sa del caso. Una volta approvata la risposta a quel nuovo caso, Duplex prende in carico anche quello.
Gran parte di ciò che arriva al tuo modello è una decisione che ha già preso più e più volte.
Il costo scende mentre l’accuratezza sale.
Costo e accuratezza di solito tirano in direzioni opposte. Per avere più risposte giuste paghi un modello più grande, un prompt più lungo o un secondo controllo, e per spendere meno accetti più errori. Chiunque abbia usato l’IA in produzione ha girato quella manopola in entrambi i sensi, cercando una posizione in cui migliorino tutti e due.
Con Duplex i due si muovono insieme, nella direzione che vuoi. Su quelle 3,000 decisioni, con cinque cambi di regole lungo il percorso, la sua accuratezza è salita dall’85.0% al 94.6% mentre il costo di ogni decisione è sceso di circa due terzi. A ogni decisione che impara risponde come l’ha decisa il tuo team, senza chiamate da pagare, e una correzione fatta una volta vale per tutte le volte successive. Così ogni risultato che impara migliora entrambi.
Rispetto allo stesso modello da solo sulle stesse decisioni, Duplex ha fatto 90.3% di chiamate al modello in meno, con 84.8% di costo in meno, e ha dato la risposta giusta molto più spesso: 94.6% contro 59.8%. Il divario era più ampio dopo i cambi di regole. Sulle decisioni toccate da quei cambi, Duplex ha dato la risposta giusta nel 92.5% dei casi e il modello da solo nel 2.3%. Il modello con una cache si è fermato al 42.6%, e una risposta economica non è un risparmio quando segue la vecchia regola.
Il risultato ha tenuto a ogni impostazione provata. Su otto impostazioni, Duplex è rimasto tra il 94.1% e il 94.8% di accuratezza, a circa un settimo del costo del modello da solo, mentre il massimo raggiunto da una cache è stato il 77.3%. E la curva non deve per forza partire dall’alto: preaddestra Duplex su ciò che il tuo team sa già, e il risparmio comincia dal primo giorno.
Con un modello a noleggio paghi l’uso, e ogni successo fa crescere il conto. Con Duplex al suo fianco, è l’uso a rendere il lavoro più economico: ogni risultato che il tuo team conferma rende la prossima decisione dello stesso tipo più veloce, più economica e più probabilmente giusta. Continua a pagare la tua IA per ciò che è nuovo e difficile, il lavoro che fa meglio, e lascia che tutto ciò che il tuo team ha già deciso costi meno ogni mese.
Rispetto al modello da solo, Duplex ha ridotto le chiamate al modello del 90.3% sulle stesse 3,000 decisioni.