Aprendizaje profundo generativo, 2ª edición

Capítulo 13. Modelos multimodales

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Objetivos del capítulo

En este capítulo:

• Aprende qué se entiende por modelo multimodal.

• Explora el funcionamiento interno de DALL.E 2, un modelo de texto a imagen a gran escala de OpenAI.

• Comprender cómo CLIP y los modelos de difusión como GLIDE desempeñan un papel integral en la arquitectura general de DALL.E 2.

• Analiza las limitaciones de DALL.E 2, puestas de manifiesto por los autores del documento.

• Explora la arquitectura de Imagen, un modelo de texto a imagen a gran escala de Google Brain.

• Conoce el proceso de difusión latente utilizado por Stable Diffusion, un modelo de conversión de texto en imagen de código abierto.

• Comprende las similitudes y diferencias entre DALL.E 2, Imagen y Difusión Estable.

• Investiga DrawBench, una suite de pruebas comparativas para evaluarmodelos de texto a imagen.

• Conoce el diseño arquitectónico de Flamingo, un novedoso modelo de lenguaje visual de DeepMind.

• Desentraña los distintos componentes de Flamingo y aprende cómo contribuye cada uno de ellos al modelo en su conjunto.

• Explora algunas de las capacidades de Flamingo, incluidala ayuda conversacional.

Hasta ahora, hemos analizado problemas de aprendizaje generativo que se centran únicamente en una modalidad de datos: texto, imágenes o música. Hemos visto cómo los GAN y los modelos de difusión pueden generar imágenes ...