Modelos de lenguaje visual (Spanish Edition)

Capítulo 5. Modelos de visión y lenguajeposentrenamiento

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Hasta ahora, hemos estado viviendo la fantasía de empezar «desde cero». tomamos un pequeño modelo de visión-lenguaje (VLM), convertimos imágenes en texto, luchamos con el relleno y el empaquetado, vimos cómo la pérdida bajaba poco a poco e incluso hicimos que respondiera algunas preguntas sobre osos y montañas. Eso es más o menos lo que parecen el preentrenamiento y el entrenamiento supervisado básico en miniatura.

En la práctica, sin embargo, la mayoría de la gente no crea un VLM de la nada. Normalmente se parte de un modelo base sólido que ya sabe mucho sobre el lenguaje y las imágenes, y luego se le da un empujoncito para que adopte el comportamiento que realmente quieres. Esa segunda fase es lo que la gente llama «post-training». Tiene tres ingredientes principales:

Ajuste fino supervisado (SFT)

Aquí es donde le muestras al modelo un montón de pares del tipo «aquí hay un prompt, aquí hay una buena respuesta» para que pueda seguir instrucciones y manejar las tareas que te interesan.

Alineación

Aquí es donde le enseñas al modelo lo que los humanos realmente prefieren, usando técnicas como el aprendizaje por refuerzo a partir de la retroalimentación humana, o RLHF (optimización directa de preferencias, optimización de preferencias mixtas y optimización de políticas relativas de grupo), para que las respuestas ...