El martes a mediodía, tu equipo de finanzas cambia una regla: a partir de ahora, los reembolsos de más de £75 necesitan la aprobación de un responsable. La petición de reembolso que llega a las doce y cinco dice mucho de cómo usa la IA tu empresa.
Si cada petición va al modelo, la respuesta sigue la regla nueva solo si alguien ya la ha añadido al prompt, y pagas el precio completo por una decisión que tu equipo toma todo el día. Si tu sistema reutiliza respuestas que ya dio, la petición no cuesta casi nada, y el reembolso sale sin la aprobación que exige la regla nueva. Si reentrenas el modelo con la política nueva, la respuesta será correcta después del próximo entrenamiento, sea cuando sea.
De esa respuesta quieres tres cosas. Que sea correcta significa que es la respuesta que daría tu equipo, con tus reglas y tus excepciones. Que esté al día significa que sigue la regla tal como está hoy, desde el momento en que cambia. Que sea asequible significa que una decisión que tu equipo resolvió hace tiempo no cuesta una llamada completa al modelo cada vez que vuelve a aparecer.
Cada uno de los enfoques conocidos alcanza dos de las tres como mucho, y la tercera es el precio que pagas. Duplex alcanza las tres con el mismo trabajo, porque aprende de cada resultado mientras se trabaja.
Llama al modelo cada vez, y acierta el 59.8% de las veces, pagando cada decisión.
Llamar al modelo cada vez es pagar otra vez por el mismo razonamiento.
Llamar al modelo en cada petición es el punto de partida natural, y con razón. Un modelo aporta lenguaje, conocimiento y razonamiento a casi cualquier pregunta, se las arregla con cosas que nunca ha visto, y mejora cada vez que su creador lanza una nueva versión.
También parte de cero, cada vez. Un reembolso exactamente igual que el de ayer se resuelve desde el principio y se vuelve a pagar, así que la factura crece con el uso y nunca baja a medida que el trabajo se vuelve conocido. Y el modelo conoce las reglas de tu equipo solo cuando alguien se las envía junto con la petición: si se omite una, decide según lo que sabía antes.
En el mejor de los casos, entonces, llamar al modelo cada vez es correcto y está al día, siempre que cada corrección viaje con cada petición, y nunca es barato. Hacer que las correcciones sigan viajando es un trabajo en sí mismo: alguien tiene que detectar cada cambio, añadirlo a cada prompt que lo necesite y quitar la regla que sustituye.
En un flujo de 3,000 decisiones en el que las reglas cambiaron cinco veces, el modelo por sí solo alcanzó un 59.8% de precisión, y solo un 2.3% en las decisiones afectadas por esos cambios. Como nadie le enviaba las reglas nuevas, siguió aplicando las antiguas, y casi cada una de esas decisiones hubo que pagarla.
Una decisión llega al modelo, que la resuelve desde cero, y la llamada se paga.
Una caché es barata hasta que cambian las reglas.
Una caché es la respuesta obvia a la factura. Cuando una petición se parece a una ya respondida, devuelve la respuesta que guardó y se ahorra la llamada al modelo. Con el trabajo conocido es rápida, barata y, mientras nada cambie, correcta.
Lo que sabe una caché es qué se preguntó y qué se respondió, pero no por qué. Cuando cambia la regla, nada le indica a cuáles de sus respuestas afecta el cambio, y las peticiones parecen las mismas que antes. Así que sigue sirviendo las respuestas antiguas, con total seguridad, hasta que alguien encuentra y borra a mano cada una de las desfasadas.
En el mejor de los casos, una caché es barata y correcta con lo que ya ha visto: dos de las tres, y estar al día es el precio. En la misma prueba, llegó la hora de pagarlo. Una caché subió la precisión global hasta el 77.3%, y cayó al 42.6% en las decisiones afectadas por el cambio de regla.
Duplex aprende la decisión y no la respuesta: la regla que hay detrás, por qué era correcta y dónde se aplica. Cuando cambia la regla, sigue la nueva desde la siguiente petición, y todo lo demás que aprendió sigue como estaba. En las decisiones afectadas por el cambio, Duplex acertó el 92.5% de las veces.
Antes de que cambie la regla, una caché responde a las peticiones conocidas bien y barato.
Duplex alcanza las tres.
Duplex es una segunda inteligencia junto a tu modelo de IA, y cambia quién hace qué. Las decisiones que tu equipo ya ha resuelto, Duplex las responde él mismo, en milisegundos y sin llamar al modelo. Lo nuevo va a tu IA, con el contexto de lo que Duplex sabe del caso, y cuando tu equipo confirma el resultado, Duplex también aprende de él.
Cada vértice se deriva de aprender mientras se trabaja. Las respuestas son correctas porque Duplex las aprendió de resultados que confirmó tu equipo. Están al día porque un cambio se aplica desde la siguiente petición, mientras que con el reentrenamiento habría que esperar al siguiente entrenamiento. Y son asequibles porque una decisión que Duplex ha aprendido no necesita llamar al modelo, así que cuanto más aprende, menos cuesta cada petición.
En esas mismas 3,000 decisiones, Duplex junto al mismo modelo alcanzó un 94.6% de precisión, la más alta de la prueba, con un 90.3% menos de llamadas que el modelo por sí solo y un coste un 84.8% menor. Una caché hizo aún menos llamadas, y lo pagó con respuestas desfasadas en cuanto cambió la regla.
El dilema entre correcto, al día y asequible nunca fue una ley de la naturaleza. Venía de enfoques que vuelven a pensar cada vez, que no vuelven a pensar nunca o que solo vuelven a pensar cuando toca un nuevo entrenamiento. Una inteligencia que aprende de cada resultado no tiene que elegir: sabe lo que tu equipo ha resuelto y sigue lo que ha cambiado, y a tu modelo solo le pagas por lo nuevo.