Generative Deep Learning, 2a edizione

Capitolo 13. Modelli multimodali

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: [e-mail]

Obiettivi del capitolo

In questo capitolo scoprirai:

• Scopri cosa si intende per modello multimodale.

• Esplora il funzionamento interno di DALL.E 2, un modello di testo-immagine su larga scala di OpenAI.

• Comprendere come CLIP e i modelli di diffusione come GLIDE giochino un ruolo fondamentale nell'architettura generale di DALL.E 2.

• Analizza i limiti di DALL.E 2, come evidenziato dagli autori del documento.

• Esplora l'architettura di Imagen, un modello di testo-immagine su larga scala di Google Brain.

• Scopri il processo di diffusione latente utilizzato da Stable Diffusion, un modello di testo-immagine open source.

• Comprendere le somiglianze e le differenze tra DALL.E 2, Imagen e Diffusione Stabile.

• Scopri DrawBench, una suite di benchmarking per valutare imodelli di testo-immagine.

• Scopri il design architettonico di Flamingo, un nuovo modello di linguaggio visivo di DeepMind.

• Scopri i diversi componenti di Flamingo e scopri come ciascuno di essi contribuisce al modello nel suo complesso.

• Esplora alcune delle funzionalità di Flamingo, tra cui ilprompt conversazionale.

Finora abbiamo analizzato problemi di apprendimento generativo che si concentrano esclusivamente su una modalità di dati: testo, immagini o musica. Abbiamo visto come le GAN e i modelli di diffusione possano generare immagini ...