Klockan tolv på tisdagen ändrar ditt ekonomiteam en regel: från och med nu kräver återbetalningar över £75 en chefs godkännande. Återbetalningsförfrågan som kommer in fem över tolv säger mycket om hur ditt företag använder AI.
Om varje förfrågan går till modellen följer svaret den nya regeln bara om någon redan har lagt in den i prompten, och du betalar fullt pris för ett beslut som ditt team fattar hela dagen lång. Om ditt system återanvänder svar det har gett förut kostar förfrågan nästan ingenting, och återbetalningen går igenom utan det godkännande som den nya regeln kräver. Om du tränar om modellen på den nya policyn blir svaret rätt efter nästa träningskörning, när det nu blir.
Du vill ha tre saker av det svaret. Rätt betyder det svar som ditt team skulle ge, med dina regler och dina undantag. Aktuellt betyder att det följer regeln som den ser ut i dag, från det ögonblick den ändras. Prisvärt betyder att ett beslut som ditt team avgjorde för länge sedan inte kostar ett helt modellanrop varje gång det kommer tillbaka.
De välbekanta metoderna når var och en högst två av de tre, och den tredje är priset. Duplex når alla tre på samma arbete, eftersom den lär sig av varje resultat medan arbetet pågår.
Anropa modellen varje gång, så har den rätt i 59.8% av fallen, och du betalar för varje beslut.
Att anropa modellen varje gång är att betala för samma tänkande igen.
Att anropa modellen vid varje förfrågan är den naturliga startpunkten, och det av goda skäl. En modell bidrar med språk, kunskap och resonemang till nästan vilken fråga som helst, den klarar saker den aldrig har sett, och den blir bättre varje gång dess utvecklare släpper en ny version.
Den börjar också från noll, varje gång. En återbetalning exakt som gårdagens räknas ut från grunden och betalas igen, så räkningen växer med användningen och krymper aldrig när arbetet blir välbekant. Och modellen känner till ditt teams regler bara när någon skickar med dem i förfrågan: utelämna en, så avgör den utifrån det den visste förut.
I bästa fall är det alltså rätt och aktuellt att anropa modellen varje gång, så länge varje korrigering följer med varje förfrågan, och det är aldrig billigt. Att få korrigeringarna att följa med är ett jobb i sig: någon måste lägga märke till varje ändring, lägga in den i varje prompt som behöver den och ta bort regeln den ersatte.
I ett flöde av 3,000 beslut där reglerna ändrades fem gånger nådde modellen ensam 59.8% träffsäkerhet, och bara 2.3% på de beslut som ändringarna påverkade. Eftersom ingen skickade med de nya reglerna fortsatte den att tillämpa de gamla, och betalade för nästan varje beslut medan den gjorde det.
Ett beslut når modellen, som löser det från grunden, och anropet betalas.
En cache är billig tills reglerna ändras.
En cache är det självklara svaret på räkningen. När en förfrågan liknar en som har besvarats förut returnerar den svaret den har sparat och hoppar över modellanropet. På välbekant arbete är den snabb, billig och, så länge ingenting ändras, rätt.
Det en cache vet är vad som frågades och vad som svarades, men inte varför. När regeln ändras säger ingenting till den vilka av dess svar som ändringen berörde, och förfrågningarna ser likadana ut som förut. Därför fortsätter den att servera de gamla svaren, självsäkert, tills någon hittar och rensar bort varje inaktuellt svar för hand.
I bästa fall är en cache billig och rätt på det den har sett förut: två av de tre, med aktuellt som priset. I samma test kom notan. En cache lyfte den totala träffsäkerheten till 77.3%, och föll till 42.6% på de beslut som regeländringen påverkade.
Duplex lär sig beslutet snarare än svaret: regeln bakom det, varför det var rätt och var det gäller. När regeln ändras följer Duplex den nya regeln från nästa förfrågan, och allt annat den har lärt sig förblir som det var. På de beslut som ändringen påverkade hade Duplex rätt i 92.5% av fallen.
Innan regeln ändras besvarar en cache välbekanta förfrågningar rätt, och billigt.
Duplex når alla tre.
Duplex är en andra intelligens bredvid din AI-modell, och den ändrar vem som gör vad. De beslut som ditt team har avgjort besvarar Duplex själv, på millisekunder och utan modellanrop. Det som är nytt går till din AI, informerad om det Duplex vet om fallet, och när ditt team har bekräftat resultatet lär sig Duplex av det också.
Varje hörn följer av att den lär sig medan arbetet pågår. Svaren är rätt eftersom Duplex lärde sig dem av resultat som ditt team bekräftade. De är aktuella eftersom en ändring gäller från nästa förfrågan, där omträning skulle vänta på nästa körning. Och de är prisvärda eftersom ett beslut som Duplex har lärt sig inte behöver något modellanrop, så ju mer den lär sig, desto mindre kostar varje förfrågan.
Över samma 3,000 beslut nådde Duplex bredvid samma modell 94.6% träffsäkerhet, den högsta i testet, med 90.3% färre modellanrop än modellen ensam och 84.8% lägre kostnad. En cache gjorde ännu färre anrop, och betalade för det med inaktuella svar när regeln väl hade ändrats.
Avvägningen mellan rätt, aktuellt och prisvärt var aldrig en naturlag. Den kom från metoder som tänker om varje gång, aldrig tänker om eller tänker om bara när en träningskörning står på tur. En intelligens som lär sig av varje resultat behöver inte välja: den vet vad ditt team har avgjort och följer det som har ändrats, och din modell får betalt bara för det som är nytt.