Modelos de lenguaje visual (Spanish Edition)

Prólogo

Cuando un campo de investigación es tan joven, es tentador describirlo a través de sus hitos. He tenido el privilegio de estar en primera fila para presenciar, y a veces contribuir a, cada uno de los hitos de este campo:

• La comprensión de que el preentrenamiento a gran escala hace magia (BigTransfer)

• Que la arquitectura exacta del transformador del lenguaje puede funcionar para la visión (ViT)

Nunca olvidaré la noche en que se publicó CLIP, maravillándome ante las posibilidades que abre el entrenamiento con imágenes y texto libre.

Por último, he sido testigo de cómo LLaVA, Flamingo y PaLI se convirtieron en la chispa de los chatbots multimodales que tenemos ahora.

En ese momento, cada uno de estos pasos se sentía, al mismo tiempo, absolutamente inesperado y completamente obvio en retrospectiva.

Así es como se siente el progreso cuando estás cerca de él.

Pero los hitos no son lo mismo que la comprensión. Un artículo puede decirte qué funcionó. Una ficha de modelo puede decirte qué se lanzó. Una demostración puede hacer que el resultado parezca sencillo. Ninguno de estos, por sí solo, te enseña cómo construir un modelo de lenguaje visual (VLM), cómo depurarlo cuando falla, o cómo tomar las muchas pequeñas decisiones que pueden hacer que el sistema final sea un éxito o un fracaso.

Ahí es donde entra este libro. Merve, Miquel, Andi y Orr no tratan nada de esto como si fuera magia. Abren el campo. Muestran cómo se entrenan los VLM, cómo se preparan los datos, qué significa ...