Transformers: Der endgültige Leitfaden (German Edition)

Kapitel 5. Transformatoren für die Videogenerierung

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Dieses Kapitel von „ “ wird spannend, denn vieles von dem, was du bisher gelernt hast, fließt nun in die aktuellen SOTA-Modelle für Text-zu-Video (T2V) und Bild-zu-Video (I2V) ein. Du hast bereits gesehen, wie ViT Bilder als Patches umstrukturiert („Einbettungen und Tokenisierung für Bildverarbeitungsmodelle“) und wie DiT dies auf generative Diffusion ausweitet („Skalierbare Diffusionsmodelle mit Transformern“). Tatsächlich bauen viele T2V- und I2V-Modelle auf DiT auf, indem sie eine zeitliche Dimension hinzufügen und latente Patches über die Zeit hinweg stapeln. Und erinnerst du dich noch an die rotierenden Positions-Embeddings aus „Längere Kontextfenster mit besserer Leistung“? Auch die wirst du hier wieder sehen.

Da du bereits verstehst, wie T2I funktioniert, sind T2V und I2V weniger ein Sprung als vielmehr eine natürliche Verallgemeinerung. Du wechselst einfach von der Erzeugung eines einzelnen Frames zur Erzeugung einer zusammenhängenden Sequenz. Die meisten T2V- und I2V-Modelle können mit demselben Kern-Backbone auch statische Bilder und sogar 3D-Ansichten erzeugen. Meistens bleibt die Architektur gleich. Nur die Achse wächst.

Für mich liegt darin die Eleganz von Transformern. Sobald du verstehst, wie sie funktionieren, erkennst du, wie alles zusammenpasst – über Bilder, Videos, Audio und ...