Modelos de lenguaje visual (Spanish Edition)
by Merve Noyan, Andrés Marafioti, Miquel Farré, Orr Zohar
Capítulo 6. Arquitecturasbásicas de los modelos de lenguaje visual
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
En los capítulos anteriores, exploraste la historia de los modelos de lenguaje visual (VLM), analizaste las diferentes tareas que pueden realizar y aprendiste a evaluar sus capacidades. También los entrenaste desde cero con conjuntos de datos a gran escala y los reentrenaste para dirigir comportamientos específicos. Ahora es el momento de abrirlos y ver cómo funcionan realmente por dentro.
En este capítulo, exploraremos el funcionamiento interno de los VLM. Iremos más allá de las ideas generales y veremos cómo se construyen estos modelos. ¿Cómo se combinan la información visual y la textual? ¿Qué diseños comunes se utilizan al construir estos modelos? ¿Cómo afectan estas decisiones de diseño al rendimiento y la velocidad de un VLM? Responderemos a estas preguntas y analizaremos las partes principales y las estrategias utilizadas en los diseños modernos de VLM.
La clave para combinar información: la atención multimodal
El núcleo de muchos VLM exitosos es el mecanismo de atención. Si has oído hablar de los transformadores, probablemente hayas oído hablar de la atención. ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access