Generatives Deep Learning, 2. Auflage

Kapitel 13. Multimodale Modelle

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Kapitel Ziele

In diesem Kapitel erfährst du:

• Lerne, was unter einem multimodalen Modell zu verstehen ist.

• Erkunde das Innenleben von DALL.E 2, einem groß angelegten Text-Bild-Modell von OpenAI.

• Verstehe, wie CLIP und Verbreitungsmodelle wie GLIDE eine wesentliche Rolle in der Gesamtarchitektur von DALL.E 2 spielen.

• Analysiere die Grenzen von DALL.E 2, die von den Autoren des Papiers aufgezeigt wurden.

• Erkunde die Architektur von Imagen, einem groß angelegten Text-Bild-Modell von Google Brain.

• Erfahre mehr über den latenten Diffusionsprozess, der von Stable Diffusion, einem Open-Source-Text-Bild-Modell, verwendet wird.

• Verstehe die Gemeinsamkeiten und Unterschiede zwischen DALL.E 2, Imagen und Stable Diffusion.

• Untersuche DrawBench, eine Benchmarking-Suite zur Bewertung vonText-Bild-Modellen.

• Lerne die Architektur von Flamingo kennen, einem neuen visuellen Sprachmodell von DeepMind.

• Nimm die verschiedenen Komponenten von Flamingo auseinander und erfahre, wie sie alle zum Gesamtmodell beitragen.

• Erkunde einige der Möglichkeiten von Flamingo, darunter dieEingabeaufforderung für Gespräche.

Bisher haben wir generative Lernprobleme analysiert, die sich nur auf eine Datenmodalität konzentrieren: entweder Text, Bilder oder Musik. Wir haben gesehen, wie GANs und Diffusionsmodelle hochmoderne Bilder ...