Klokken tolv på tirsdag endrer økonomiteamet ditt en regel: fra nå av krever refusjoner over £75 godkjenning fra en leder. Refusjonsforespørselen som kommer fem over tolv, forteller mye om hvordan selskapet ditt bruker KI.
Hvis hver forespørsel går til modellen, følger svaret den nye regelen bare hvis noen allerede har lagt den inn i prompten, og du betaler full pris for en beslutning teamet ditt tar hele dagen. Hvis systemet ditt gjenbruker svar det har gitt før, koster forespørselen nesten ingenting, og refusjonen går gjennom uten godkjenningen den nye regelen krever. Hvis du trener modellen på nytt på den nye policyen, blir svaret riktig etter neste treningskjøring, når det nå enn blir.
Du vil ha tre ting fra det svaret. Riktig betyr svaret teamet ditt ville gitt, med reglene og unntakene dine. Oppdatert betyr at det følger regelen slik den er i dag, fra det øyeblikket den endres. Rimelig betyr at en beslutning teamet ditt avgjorde for lenge siden, ikke koster et fullt modellkall hver gang den kommer tilbake.
De kjente tilnærmingene når hver høyst to av de tre, og den tredje er prisen. Duplex når alle tre på det samme arbeidet, fordi den lærer av hvert resultat mens arbeidet pågår.
Kall modellen hver gang, så har den rett 59.8% av gangene, og du betaler for hver beslutning.
Å kalle modellen hver gang betyr å betale for den samme tenkningen på nytt.
Å kalle modellen ved hver forespørsel er det naturlige stedet å begynne, og med god grunn. En modell bidrar med språk, kunnskap og resonnering til nesten ethvert spørsmål, den takler ting den aldri har sett, og den blir bedre hver gang produsenten lanserer en ny versjon.
Den starter også fra ingenting, hver gang. En refusjon nøyaktig lik gårsdagens regnes ut fra bunnen av og betales for igjen, så regningen vokser med bruken og krymper aldri etter hvert som arbeidet blir kjent. Og modellen kjenner teamets regler bare når noen sender dem med forespørselen: utelat én, og den avgjør ut fra det den visste fra før.
I beste fall er det altså riktig og oppdatert å kalle modellen hver gang, så lenge hver rettelse følger med hver forespørsel, og det er aldri billig. Å sørge for at rettelsene følger med, er en jobb i seg selv: noen må legge merke til hver endring, legge den inn i hver prompt som trenger den, og ta ut regelen den erstattet.
I en strøm på 3,000 beslutninger der reglene endret seg fem ganger, nådde modellen alene 59.8% nøyaktighet, og bare 2.3% på beslutningene endringene påvirket. Uten at noen sendte med de nye reglene, fortsatte den å bruke de gamle, og nesten hver beslutning ble betalt for underveis.
En beslutning når modellen, som løser den fra bunnen av, og kallet betales.
En cache er billig til reglene endres.
En cache er det åpenbare svaret på regningen. Når en forespørsel ligner på en som er besvart før, returnerer den svaret den lagret, og hopper over modellkallet. På kjent arbeid er den rask, billig og, så lenge ingenting endrer seg, riktig.
Det en cache vet, er hva som ble spurt om og hva som ble svart, men ikke hvorfor. Når regelen endres, forteller ingenting den hvilke av svarene dens endringen berørte, og forespørslene ser ut som før. Så den fortsetter å servere de gamle svarene, selvsikkert, til noen finner og fjerner hvert utdatert svar for hånd.
I beste fall er en cache billig og riktig på det den har sett før: to av de tre, med oppdatert som prisen. I den samme testen kom regningen. En cache løftet den samlede nøyaktigheten til 77.3%, og falt til 42.6% på beslutningene regelendringen påvirket.
Duplex lærer beslutningen i stedet for svaret: regelen bak den, hvorfor den var riktig og hvor den gjelder. Når regelen endres, følger Duplex den nye fra neste forespørsel, og alt annet den har lært, forblir som det var. På beslutningene endringen påvirket, hadde Duplex rett 92.5% av gangene.
Før regelen endres, svarer en cache riktig på kjente forespørsler, og billig.
Duplex når alle tre.
Duplex er en andre intelligens ved siden av KI-modellen din, og den endrer hvem som gjør hva. Beslutningene teamet ditt har avgjort, svarer Duplex på selv, på millisekunder og uten modellkall. Det som er nytt, går til KI-en din, orientert med det Duplex vet om saken, og når teamet ditt har bekreftet resultatet, lærer Duplex av det også.
Hvert hjørne følger av at den lærer mens arbeidet pågår. Svarene er riktige fordi Duplex lærte dem av resultater teamet ditt bekreftet. De er oppdaterte fordi en endring gjelder fra neste forespørsel, der omtrening ville ventet på neste kjøring. Og de er rimelige fordi en beslutning Duplex har lært, ikke trenger noe modellkall, så jo mer den lærer, desto mindre koster hver forespørsel.
Over de samme 3,000 beslutningene nådde Duplex ved siden av den samme modellen 94.6% nøyaktighet, den høyeste i testen, med 90.3% færre modellkall enn modellen alene og 84.8% lavere kostnad. En cache gjorde enda færre kall, og betalte for dem med utdaterte svar da regelen endret seg.
Avveiningen mellom riktig, oppdatert og rimelig var aldri en naturlov. Den kom fra tilnærminger som tenker på nytt hver gang, aldri tenker på nytt, eller tenker på nytt bare når det er tid for en treningskjøring. En intelligens som lærer av hvert resultat, trenger ikke å velge: den vet hva teamet ditt har avgjort, og følger det som har endret seg, og modellen din får betalt bare for det som er nytt.