Tirsdag klokken tolv ændrer dit økonomiteam en regel: fra nu af kræver refusioner over £75 en leders godkendelse. Den anmodning om refusion, der kommer ind fem minutter over tolv, fortæller dig meget om, hvordan din virksomhed bruger AI.
Hvis hver forespørgsel går til modellen, følger svaret kun den nye regel, hvis nogen allerede har tilføjet den til prompten, og du betaler fuld pris for en beslutning, dit team træffer hele dagen lang. Hvis dit system genbruger svar, det har givet før, koster forespørgslen næsten ingenting, og refusionen går igennem uden den godkendelse, den nye regel kræver. Hvis du gentræner modellen på den nye politik, bliver svaret rigtigt efter den næste træningskørsel, hvornår det så end bliver.
Du vil have tre ting fra det svar. Rigtig betyder det svar, dit team ville give, med dine regler og dine undtagelser. Aktuel betyder, at det følger reglen, som den er i dag, fra det øjeblik, den ændres. Overkommelig betyder, at en beslutning, dit team afgjorde for længe siden, ikke koster et fuldt modelkald, hver gang den kommer igen.
De velkendte tilgange når hver især højst to af de tre, og den tredje er prisen. Duplex når alle tre på det samme arbejde, fordi den lærer af hvert resultat, mens arbejdet foregår.
Kald modellen hver gang, og den har ret i 59.8% af tilfældene, med betaling for hver beslutning.
Kalder du modellen hver gang, betaler du for den samme tænkning igen.
At kalde modellen ved hver forespørgsel er det naturlige sted at starte, og med god grund. En model bringer sprog, viden og ræsonnement til næsten ethvert spørgsmål, den klarer ting, den aldrig har set, og den bliver bedre, hver gang producenten udgiver en ny version.
Den starter også fra ingenting, hver gang. En refusion præcis som gårsdagens regnes ud fra bunden og betales igen, så regningen vokser med brugen og skrumper aldrig, efterhånden som arbejdet bliver velkendt. Og modellen kender kun dit teams regler, når nogen sender dem med forespørgslen: udelad én, og den beslutter ud fra det, den vidste før.
I bedste fald er det altså rigtigt og aktuelt at kalde modellen hver gang, så længe hver rettelse følger med hver forespørgsel, og det er aldrig billigt. At sørge for, at rettelserne hele tiden følger med, er et job i sig selv: nogen skal opdage hver ændring, tilføje den til hver prompt, der har brug for den, og fjerne den regel, den erstattede.
På en strøm af 3,000 beslutninger, hvor reglerne ændrede sig fem gange, nåede modellen alene en nøjagtighed på 59.8% og kun 2.3% på de beslutninger, ændringerne berørte. Uden nogen til at sende de nye regler med blev den ved med at anvende de gamle, og næsten hver beslutning blev betalt undervejs.
En beslutning når modellen, som tænker den igennem fra bunden, og kaldet betales.
En cache er billig, indtil reglerne ændrer sig.
En cache er det oplagte svar på regningen. Når en forespørgsel ligner en, der er besvaret før, returnerer den det svar, den har gemt, og springer modelkaldet over. På velkendt arbejde er den hurtig, billig og, så længe intet ændrer sig, rigtig.
Det, en cache ved, er, hvad der blev spurgt om, og hvad der blev svaret, men ikke hvorfor. Når reglen ændres, er der intet, der fortæller den, hvilke af dens svar ændringen berørte, og forespørgslerne ser ud som før. Så den bliver ved med at servere de gamle svar, selvsikkert, indtil nogen manuelt finder og fjerner hvert forældet svar.
I bedste fald er en cache billig og rigtig på det, den har set før: to af de tre, med aktuel som prisen. I den samme test skulle prisen betales. En cache løftede den samlede nøjagtighed til 77.3% og faldt til 42.6% på de beslutninger, regelændringen berørte.
Duplex lærer beslutningen snarere end svaret: reglen bag den, hvorfor den var rigtig, og hvor den gælder. Når reglen ændres, følger Duplex den nye fra næste forespørgsel, og alt andet, den har lært, forbliver, som det var. På de beslutninger, ændringen berørte, havde Duplex ret i 92.5% af tilfældene.
Før reglen ændres, besvarer en cache velkendte forespørgsler korrekt og billigt.
Duplex når alle tre.
Duplex er en anden intelligens ved siden af din AI-model, og den ændrer, hvem der gør hvad. De beslutninger, dit team har afgjort, besvarer Duplex selv, på millisekunder og uden modelkald. Det nye går til din AI, orienteret om det, Duplex ved om sagen, og når dit team har bekræftet resultatet, lærer Duplex også af det.
Hvert hjørne følger af at lære, mens arbejdet foregår. Svarene er rigtige, fordi Duplex har lært dem af resultater, dit team har bekræftet. De er aktuelle, fordi en ændring gælder fra næste forespørgsel, hvor gentræning ville vente på næste kørsel. Og de er overkommelige, fordi en beslutning, Duplex har lært, ikke kræver noget modelkald, så jo mere den lærer, jo mindre koster hver forespørgsel.
Over de samme 3,000 beslutninger nåede Duplex ved siden af den samme model en nøjagtighed på 94.6%, den højeste i testen, med 90.3% færre modelkald end modellen alene og 84.8% lavere omkostning. En cache foretog endnu færre kald og betalte for dem med forældede svar, da reglen ændrede sig.
Afvejningen mellem rigtig, aktuel og overkommelig var aldrig en naturlov. Den kom fra tilgange, der tænker forfra hver gang, aldrig tænker forfra eller kun tænker forfra, når en træningskørsel kommer forbi. En intelligens, der lærer af hvert resultat, behøver ikke at vælge: den ved, hvad dit team har afgjort, og følger det, der har ændret sig, og din model betales kun for det nye.