Modelos de lenguaje visual (Spanish Edition)

Capítulo 2. Aplicaciones de los modelos de lenguajevisual

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Ya hemos visto cómo se conectan la visión y el lenguaje, así que veamos cómo funcionan los modelos modernos de visión y lenguaje (VLM). Los VLM modernos —que suelen entrenarse con enormes conjuntos de datos de visión, visión y lenguaje, y de lenguaje— pueden realizar una amplia variedad de tareas de visión, como identificar objetos, acciones y escenas, así como entender texto para tareas multimodales. Las posibilidades de unir imágenes y texto hacen que los casos de uso sean infinitos, pero nos centraremos en los casos de uso más comunes, los primeros enfoques utilizados para resolverlos, cómo llevar a cabo estas tareas y cómo evaluar un modelo en una tarea determinada.

El punto de partida más natural es la forma más simple de conectar la visión y el lenguaje: describir lo que vemos. Dada una imagen, ¿puede un modelo generar una frase que capture su contenido? Esto es la generación de leyendas de imágenes, y es la base sobre la que se construyen muchas de las tareas de este capítulo.

Objetivo de aprendizaje

En este capítulo, aprenderemos todas las tareas que podemos realizar con los VLM modernos. En cada tarea, veremos en qué consiste, ofreceremos recomendaciones de modelos, analizaremos enfoques anteriores para resolver el problema, evaluaremos un buen modelo y mucho más.

Subtitulación de imágenes