Varje månad blir modellräkningen lite högre, och ingenting har gått fel. Fler i ditt team använder assistenten, fler agenter kör hela natten, och var och en av dem anropar modellen. Det är så hyrd intelligens prissätts: per anrop. Ju mer din AI gör åt dig, desto mer betalar du, och framgången syns som kostnad.
Titta på vad de anropen gällde, så kommer samma arbete tillbaka gång på gång: återbetalningsfrågan som ditt supportteam avgjorde i våras, vägvalet som skickar en viss sorts ärende till samma kö varje gång, undantaget som din ekonomiansvariga förklarade en gång och som modellen har fått räkna ut på nytt ända sedan dess. Din AI löser vart och ett från grunden och tar fullt pris, lika mycket den hundrade gången som den första.
Duplex ändrar på det. Den är en andra intelligens bredvid din AI-modell, och den lär sig de beslut som ditt arbete fattar om och om igen. Varje beslut den lär sig behöver inte längre ett betalt modellanrop, så ju längre Duplex körs, desto mindre kostar varje beslut. Och eftersom den lär sig av de resultat som ditt team bekräftar blir fler av besluten rätt.
Din AI tar lika mycket betalt varje gång den löser ett välbekant problem.
Varje bekräftat resultat sänker nästa kostnad.
En modell har inget sätt att bli billigare på ditt arbete, eftersom ditt arbete inte förändrar den. Den lärde sig världen innan den släpptes, och varje anrop börjar därifrån, plus det som prompten har med sig. Ett svårt fall som ingen har sett förut får modellens hela resonemang, och det är precis vad du vill. Det gör också en fråga som ditt team besvarade för flera månader sedan, till samma pris, och mycket av det som når din AI är av det andra slaget.
Team kämpar mot räkningen på förnuftiga sätt. En kortare prompt bantar varje anrop. En mindre modell sänker priset, och för enkla uppgifter är det en rimlig avvägning. En cache besvarar en upprepning för nästan ingenting, och när upprepningen är exakt är den svår att slå. Alla hjälper, och ingen av dem ändrar upplägget: varje anrop till modellen betalas fortfarande, och en cache känner bara till det som ser likadant ut, så den ger ett snarlikt fall det gamla svaret och fortsätter att ge det efter att dina regler har ändrats.
Duplex lär sig i stället. När ditt team bekräftar ett resultat lär sig Duplex beslutet bakom det, och nästa liknande förfrågan besvaras av Duplex själv, utan modellanrop. I ett flöde av 3,000 beslut kom ett inlärt beslut tillbaka på Ungefär 97 ms. Ett modellanrop tog Ungefär 2,231 ms, och du betalade för vart och ett. För en kund som väntar i en chatt är det skillnaden mellan ett omedelbart svar och en paus som märks.
Så varje beslut som ditt team bekräftar försvinner från räkningen från och med då. Policyfrågorna, vägvalen och de välbekanta undantagen som utgör så stor del av trafiken flyttar över till Duplex ett efter ett, och din AI lägger sin kraft där dess pris är värt att betala: på det som är nytt, informerad om det Duplex vet om fallet. När svaret på det nya fallet har godkänts tar Duplex hand om det också.
Mycket av det som når din modell är ett beslut som den redan har fattat, många gånger om.
Kostnaden sjunker när träffsäkerheten stiger.
Kostnad och träffsäkerhet drar oftast åt olika håll. För att få fler svar rätt betalar du för en större modell, en längre prompt eller en extra kontroll, och för att spendera mindre accepterar du fler misstag. Alla som har kört AI i produktion har vridit på det reglaget åt båda hållen, på jakt efter ett läge där båda blir bättre.
Med Duplex rör sig de två tillsammans, i den riktning du vill. Över de 3,000 besluten, med fem regeländringar på vägen, steg dess träffsäkerhet från 85.0% till 94.6% medan kostnaden för varje beslut sjönk med ungefär två tredjedelar. Varje beslut den lär sig besvaras på det sätt som ditt team avgjorde det, utan något anrop att betala för, och en korrigering som görs en gång gäller varje gång därefter. Så varje resultat den lär sig förbättrar båda.
Jämfört med samma modell som arbetade ensam med samma beslut gjorde Duplex 90.3% färre modellanrop till 84.8% lägre kostnad, och den hade rätt betydligt oftare: 94.6% mot 59.8%. Klyftan var störst efter att reglerna ändrats. På de beslut som ändringarna påverkade hade Duplex rätt i 92.5% av fallen och modellen ensam i 2.3%. Modellen med en cache klarade 42.6%, och ett billigt svar är ingen besparing när det följer den gamla regeln.
Resultatet höll vid varje inställning som testades. Över åtta av dem låg Duplex på mellan 94.1% och 94.8% träffsäkerhet, till ungefär en sjundedel av vad modellen ensam kostar, medan det bästa en cache nådde var 77.3%. Och kurvan behöver inte börja högst upp: förträna Duplex på det ditt team redan kan, så börjar besparingarna redan första dagen.
Med en hyrd modell är det användningen du betalar för, och varje framgång gör räkningen större. Med Duplex bredvid är det användningen som gör arbetet billigare: varje resultat som ditt team bekräftar gör nästa liknande beslut snabbare, billigare och mer sannolikt rätt. Fortsätt betala din AI för det som är nytt och svårt, det arbete den gör bäst, och låt allt som ditt team redan har avgjort kosta mindre varje månad.
Jämfört med modellen ensam minskade Duplex modellanropen med 90.3% över samma 3,000 beslut.