Modelos de lenguaje visual (Spanish Edition)

Capítulo 4. Datosde entrenamiento y preprocesamiento para VLM

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

En el Capítulo 3, entrenaste tu primer modelo de lenguaje visual (VLM). Viste cómo bajaban las curvas de pérdida, depuraste bucles causados por tokens de relleno y aprendiste que un tamaño de lote de 1 es un buen comienzo, pero que con un tamaño de lote de 4 es donde las cosas se ponen serias. Te emocionaste cuando el modelo finalmente empezó a dar resultados decentes. También descubriste algo un poco aterrador: entrenar incluso un VLM básico con el 0,5 % de FineVision (120 000 muestras) requirió un empaquetado cuidadoso de los tokens, tokens de marcador de posición para las imágenes y revisiones frecuentes para detectar errores a tiempo.

Ahora imagina escalar eso. No 120 000 muestras: prueba con 3,2 millones. Luego 15,3 millones. No el 0,5 % de un conjunto de datos, sino mezclas de docenas de conjuntos de datos, cada uno con diferentes dominios visuales, diferente calidad de anotación, diferentes proporciones y diferentes propósitos. Bienvenido a los retos de datos del entrenamiento real de VLM.

Los VLM no se entrenan realmente desde cero, como viste en el Capítulo 3 cuando cargamos SigLIP y SmolLM preentrenados. Los VLM modernos se construyen sobre codificadores de visión y estructuras de lenguaje preentrenados antes de que comience cualquier entrenamiento multimodal. Lo que sigue es cuidar (sí, literalmente, ...