Martedì a mezzogiorno, il tuo team finanza cambia una regola: d’ora in poi, i rimborsi oltre £75 richiedono l’approvazione di un responsabile. La richiesta di rimborso che arriva a mezzogiorno e cinque dice molto su come la tua azienda usa l’IA.
Se ogni richiesta va al modello, la risposta segue la nuova regola solo se qualcuno l’ha già aggiunta al prompt, e paghi prezzo pieno per una decisione che il tuo team prende tutto il giorno. Se il tuo sistema riusa le risposte date in passato, la richiesta non costa quasi nulla, e il rimborso passa senza l’approvazione che la nuova regola richiede. Se riaddestri il modello sulla nuova policy, la risposta sarà giusta dopo il prossimo addestramento, quando arriverà.
Da quella risposta vuoi tre cose. Giusta significa la risposta che darebbe il tuo team, con le tue regole e le tue eccezioni. Aggiornata significa che segue la regola com’è oggi, dal momento in cui cambia. Conveniente significa che una decisione che il tuo team ha preso da tempo non costa un’intera chiamata al modello ogni volta che si ripresenta.
Gli approcci consueti arrivano ciascuno a due su tre al massimo, e il terzo è il prezzo da pagare. Duplex arriva a tutti e tre sullo stesso lavoro, perché impara da ogni risultato mentre il lavoro si svolge.
Chiama il modello ogni volta, e ha ragione il 59.8% delle volte, con ogni decisione pagata.
Chiamare il modello ogni volta significa pagare di nuovo lo stesso ragionamento.
Chiamare il modello a ogni richiesta è il punto di partenza naturale, e a ragione. Un modello porta linguaggio, conoscenza e ragionamento a quasi qualsiasi domanda, se la cava con cose che non ha mai visto, e migliora ogni volta che chi lo produce rilascia una nuova versione.
Ma parte anche da zero, ogni volta. Un rimborso identico a quello di ieri viene rielaborato da capo e pagato di nuovo, quindi il conto cresce con l’uso e non cala mai man mano che il lavoro diventa noto. E il modello conosce le regole del tuo team solo quando qualcuno gliele manda insieme alla richiesta: se ne manca una, decide in base a ciò che sapeva prima.
Nel migliore dei casi, quindi, chiamare il modello ogni volta è giusto e aggiornato, purché ogni correzione viaggi con ogni richiesta, e non è mai economico. Far viaggiare le correzioni è un lavoro a sé: qualcuno deve accorgersi di ogni cambiamento, aggiungerlo a ogni prompt che ne ha bisogno e togliere la regola che ha sostituito.
Su un flusso di 3,000 decisioni in cui le regole sono cambiate cinque volte, il modello da solo ha raggiunto il 59.8% di accuratezza, e solo il 2.3% sulle decisioni toccate da quei cambiamenti. Senza nessuno che gli mandasse le nuove regole, ha continuato ad applicare le vecchie, e intanto ha pagato quasi ogni decisione.
Una decisione arriva al modello, che la elabora da zero, e la chiamata si paga.
Una cache costa poco finché le regole non cambiano.
Una cache è la risposta ovvia al conto. Quando una richiesta somiglia a una già evasa, restituisce la risposta memorizzata e salta la chiamata al modello. Sul lavoro noto è veloce, economica e, finché nulla cambia, giusta.
Una cache sa cosa è stato chiesto e cosa è stato risposto, ma non perché. Quando la regola cambia, niente le dice quali delle sue risposte siano toccate dal cambiamento, e le richieste sembrano le stesse di prima. Così continua a servire le vecchie risposte, con sicurezza, finché qualcuno non trova e cancella a mano ognuna di quelle obsolete.
Nel migliore dei casi, una cache è economica e giusta su ciò che ha già visto: due su tre, con l’aggiornamento come prezzo. Nello stesso test, il conto è arrivato. Una cache ha portato l’accuratezza complessiva al 77.3%, ed è scesa al 42.6% sulle decisioni toccate dal cambio di regola.
Duplex impara la decisione anziché la risposta: la regola che c’è dietro, perché era giusta e dove si applica. Quando la regola cambia, segue quella nuova dalla richiesta successiva, e tutto il resto che ha imparato resta com’era. Sulle decisioni toccate dal cambiamento, Duplex ha avuto ragione nel 92.5% dei casi.
Prima che la regola cambi, una cache risponde alle richieste note correttamente e a basso costo.
Duplex arriva a tutti e tre.
Duplex è una seconda intelligenza accanto al tuo modello di IA, e cambia chi fa cosa. Le decisioni che il tuo team ha già stabilito, Duplex le prende da solo, in millisecondi e senza chiamate al modello. Ciò che è nuovo va alla tua IA, informata su ciò che Duplex sa del caso, e una volta che il tuo team conferma il risultato, Duplex impara anche da quello.
Ogni vertice deriva dall’imparare mentre il lavoro si svolge. Le risposte sono giuste perché Duplex le ha imparate da risultati confermati dal tuo team. Sono aggiornate perché un cambiamento vale dalla richiesta successiva, mentre riaddestrando si aspetterebbe il prossimo ciclo. E sono convenienti perché una decisione che Duplex ha imparato non richiede chiamate al modello, quindi più impara, meno costa ogni richiesta.
Sulle stesse 3,000 decisioni, Duplex accanto allo stesso modello ha raggiunto il 94.6% di accuratezza, la più alta del test, con 90.3% di chiamate al modello in meno rispetto al modello da solo e 84.8% di costo in meno. Una cache ha fatto ancora meno chiamate, e le ha pagate con risposte obsolete appena la regola è cambiata.
Il compromesso tra giusto, aggiornato e conveniente non è mai stato una legge di natura. Veniva da approcci che ragionano da capo ogni volta, non ragionano mai da capo, o ragionano da capo solo quando arriva un nuovo addestramento. Un’intelligenza che impara da ogni risultato non deve scegliere: sa cosa il tuo team ha stabilito e segue ciò che è cambiato, e il tuo modello viene pagato solo per ciò che è nuovo.