Modelos de lenguaje grandes: las partes difíciles (Spanish Edition)

Capítulo 9. Epílogo : LLMBA en la era de la reducción de costos

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

En Roma, todo tiene su precio.

Juvenal

A lo largo de este libro, hemos cubierto los fundamentos técnicos para construir, evaluar e implementar LLMBA de manera responsable: desde elegir los modelos adecuados y crear prompts efectivos, hasta implementar salidas estructuradas y sistemas RAG, medir el rendimiento con benchmarks como SALAD-Bench y TruthfulQA, y alinear los modelos a través de DPO y protegerlos con medidas de seguridad. Estas son las habilidades que nos permiten construir LLMBA de producción hoy en día. Pero hay una tendencia macro que subyace a todo lo que hemos discutido y que va a redefinir cómo se verá este trabajo en el futuro: los costos de inferencia se están desplomando a un ritmo asombroso. Cuando el equipo de a16z analizó esta tendencia a mediados de 2024, identificó una reducción anual de los costos de 10 veces. A principios de 2025, esa tasa se había acelerado a entre 50 y 200 veces al año para niveles de rendimiento equivalentes.

Esta caída de los costos cambia el costo marginal de la inteligencia. Las decisiones de diseño siguen implicando compensaciones entre costos y beneficios, pero el equilibrio cambia: las evaluaciones que antes parecían demasiado caras para aplicarlas a gran escala, los controles de seguridad que había que usar con moderación y los modelos más grandes ...