Mardi à midi, votre équipe financière change une règle : désormais, les remboursements au-delà de £75 exigent l’approbation d’un manager. La demande de remboursement qui arrive à midi cinq en dit long sur la façon dont votre entreprise utilise l’IA.
Si chaque requête va au modèle, la réponse ne suit la nouvelle règle que si quelqu’un l’a déjà ajoutée au prompt, et vous payez plein tarif une décision que votre équipe prend toute la journée. Si votre système réutilise des réponses déjà données, la requête ne coûte presque rien, et le remboursement passe sans l’approbation qu’exige la nouvelle règle. Si vous réentraînez le modèle sur la nouvelle politique, la réponse sera juste après le prochain entraînement, quel que soit le moment où il aura lieu.
Vous attendez trois choses de cette réponse. Juste, c’est la réponse que donnerait votre équipe, avec vos règles et vos exceptions. À jour, c’est qu’elle suit la règle telle qu’elle est aujourd’hui, dès l’instant où elle change. Abordable, c’est qu’une décision que votre équipe a tranchée depuis longtemps ne coûte pas un appel complet au modèle chaque fois qu’elle revient.
Les approches familières atteignent chacune deux des trois au plus, et la troisième est le prix à payer. Duplex atteint les trois sur le même travail, parce qu’il apprend de chaque résultat pendant que le travail se fait.
Appelez le modèle à chaque fois, et il a raison 59.8% du temps, chaque décision étant payée.
Appeler le modèle à chaque fois, c’est payer à nouveau la même réflexion.
Appeler le modèle à chaque requête est le point de départ naturel, et pour de bonnes raisons. Un modèle apporte la langue, les connaissances et le raisonnement à presque n’importe quelle question, il se débrouille avec ce qu’il n’a jamais vu, et il s’améliore chaque fois que son créateur publie une nouvelle version.
Il repart aussi de rien, à chaque fois. Un remboursement identique à celui d’hier est résolu à partir de zéro et payé à nouveau, si bien que la facture grossit avec l’usage et ne diminue jamais à mesure que le travail devient familier. Et le modèle ne connaît les règles de votre équipe que si quelqu’un les envoie avec la requête : oubliez-en une, et il décide d’après ce qu’il savait avant.
Dans le meilleur des cas, appeler le modèle à chaque fois est donc juste et à jour, à condition que chaque correction accompagne chaque requête, et ce n’est jamais bon marché. Faire voyager les corrections est un travail à part entière : quelqu’un doit repérer chaque changement, l’ajouter à chaque prompt qui en a besoin et retirer la règle qu’il remplace.
Sur un flux de 3,000 décisions où les règles ont changé cinq fois, le modèle seul a atteint 59.8% de précision, et seulement 2.3% sur les décisions touchées par ces changements. Comme personne ne lui envoyait les nouvelles règles, il a continué d’appliquer les anciennes, et payé presque chaque décision au passage.
Une décision arrive au modèle, qui la résout à partir de zéro, et l’appel est payé.
Un cache est bon marché jusqu’à ce que les règles changent.
Un cache est la réponse évidente à la facture. Quand une requête ressemble à une requête déjà traitée, il renvoie la réponse qu’il a stockée et saute l’appel au modèle. Sur le travail familier, il est rapide, bon marché et, tant que rien ne change, juste.
Ce qu’un cache connaît, c’est ce qu’on a demandé et ce qu’on a répondu, mais pas pourquoi. Quand la règle change, rien ne lui dit lesquelles de ses réponses le changement a touchées, et les requêtes ont la même allure qu’avant. Il continue donc de servir les anciennes réponses, avec assurance, jusqu’à ce que quelqu’un retrouve et efface à la main chacune des réponses périmées.
Dans le meilleur des cas, un cache est bon marché et juste sur ce qu’il a déjà vu : deux des trois, et c’est le fait d’être à jour qui en fait les frais. Dans le même test, l’addition est arrivée. Un cache a porté la précision globale à 77.3%, puis est tombé à 42.6% sur les décisions touchées par le changement de règle.
Duplex apprend la décision plutôt que la réponse : la règle qui la sous-tend, pourquoi elle était juste et où elle s’applique. Quand la règle change, il suit la nouvelle dès la requête suivante, et tout le reste de ce qu’il a appris demeure tel quel. Sur les décisions touchées par le changement, Duplex a vu juste dans 92.5% des cas.
Avant que la règle ne change, un cache répond juste aux requêtes connues, et à bas coût.
Duplex atteint les trois.
Duplex est une seconde intelligence aux côtés de votre modèle d’IA, et il change qui fait quoi. Les décisions que votre équipe a tranchées, Duplex y répond lui-même, en quelques millisecondes et sans appel au modèle. Ce qui est nouveau va à votre IA, informée de ce que Duplex sait du cas, et une fois que votre équipe a confirmé le résultat, Duplex en apprend aussi.
Chacun des trois sommets découle de l’apprentissage pendant que le travail se fait. Les réponses sont justes parce que Duplex les a apprises de résultats que votre équipe a confirmés. Elles sont à jour parce qu’un changement s’applique dès la requête suivante, là où un réentraînement attendrait le prochain cycle. Et elles sont abordables parce qu’une décision que Duplex a apprise n’exige aucun appel au modèle, si bien que plus il apprend, moins chaque requête coûte.
Sur les mêmes 3,000 décisions, Duplex aux côtés du même modèle a atteint 94.6% de précision, la plus élevée du test, avec 90.3% d’appels au modèle en moins que le modèle seul et un coût réduit de 84.8%. Un cache a fait encore moins d’appels, et l’a payé en réponses périmées une fois la règle changée.
L’arbitrage entre juste, à jour et abordable n’a jamais été une loi de la nature. Il venait d’approches qui réfléchissent de nouveau à chaque fois, ne réfléchissent plus jamais, ou seulement quand revient un entraînement. Une intelligence qui apprend de chaque résultat n’a pas à choisir : elle sait ce que votre équipe a tranché et suit ce qui a changé, et votre modèle n’est payé que pour ce qui est nouveau.