Transformers: Der endgültige Leitfaden (German Edition)

Kapitel 4. Transformatoren für die Bilderzeugung

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Mit der Entwicklung von generativen Text-zu-Bild-Modellen (T2I) wie DALL·E, Imagen, Midjourney und Stable Diffusion hat eine neue Ära der fotorealistischen Bilderstellung begonnen. Diese Modelle können aus Text-Eingaben hochdetaillierte und kontextuell korrekte Bilder und Kunstwerke generieren, wodurch Künstler, Designer und sogar nicht-kreative Menschen ihre Ideen mit beispielloser Leichtigkeit zum Leben erwecken können.

Der zentrale Baustein dieser Modelle ist die Diffusion, ein er Prozess in der Physik, der beschreibt, wie sich Moleküle von Bereichen mit hoher Konzentration in Bereiche mit niedriger Konzentration bewegen. Im Zusammenhang mit der Bilderzeugung nutzen Diffusionsmodelle dieses Prinzip, um zufälliges Rauschen durch eine Reihe iterativer Verfeinerungen schrittweise in kohärente und detaillierte Bilder umzuwandeln.

Dieser diffusionsbasierte Ansatz ist zum Rückgrat der SOTA-Modelle geworden und hat frühere Methoden wie Generative Adversarial Networks (GANs),¹ die zuvor die Bilderzeugung dominierten. Dieser Wandel erfolgte, weil sich Diffusionsmodelle bei der Erzeugung hochwertiger und vielfältiger Ergebnisse als effektiver erwiesen haben. Bemerkenswert ist, dass das ursprüngliche DALL·E-Modell zwar autoregressiv war, DALL·E 2 und DALL·E 3 seitdem jedoch diffusionsbasierte Methoden als ...