Modelos de lenguaje grandes: las partes difíciles (Spanish Edition)

Prólogo

En 2024, empezamos a trabajar en nuestro primer plan de estudios de GenAI en Code.org. Teníamos un objetivo ambicioso: en lugar de simplemente presentarles a los estudiantes de primaria y secundaria ChatGPT (o una interfaz que lo integrara), queríamos desarrollar un pequeño modelo de lenguaje con el que pudieran experimentar de forma más directa.

Creíamos que este enfoque tendría varias ventajas. Primero, pensamos que un modelo más pequeño y de código abierto nos daría más control sobre el alojamiento, los precios y las versiones del modelo. También creíamos que un modelo más pequeño tendría alucinaciones con más frecuencia. Aunque esto pueda parecer un requisito extraño, las alucinaciones frecuentes ofrecen oportunidades únicas de enseñanza en el aula. Por último, imaginamos un mundo en el que los estudiantes pudieran aprender a ajustar estos modelos usando sus propios datos de entrenamiento.

Sin embargo, este enfoque de usar modelos de lenguaje pequeños no estaba exento de desafíos. Con las alucinaciones frecuentes, tuvimos que establecer un alto nivel de seguridad para los estudiantes, creando medidas de protección similares a las que ofrecen los modelos de vanguardia. También queríamos evaluar con precisión nuestros modelos pequeños para evitar retrocesos en los objetivos de aprendizaje que habíamos establecido en el plan de estudios. Por último, queríamos crear un marco en el que pudiéramos implementar muchas de las capacidades que se encuentran en sistemas más sofisticados, ...