Transformers : Le guide définitif (French Edition)

Chapitre 5. Transformateurs pour la génération vidéo

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Ce chapitre d's va être passionnant, car une grande partie de ce que tu as appris jusqu'à présent se concrétise désormais dans les modèles de pointe de conversion texte-vidéo (T2V) et image-vidéo (I2V). Tu as déjà vu comment ViT restructure les images en patches (« Embeddings et tokenisation pour les modèles de vision ») et comment DiT étend cela à la diffusion générative (« Modèles de diffusion évolutifs avec des transformateurs »). En fait, de nombreux modèles T2V et I2V s’appuient sur DiT en ajoutant une dimension temporelle, en empilant des patchs latents au fil du temps. Et tu te souviens de ces embeddings de position rotatifs de « Fenêtres de contexte plus longues avec de meilleures performances »? Tu les retrouveras ici aussi.

Comme tu comprends déjà comment fonctionne le T2I, le T2V et l’I2V apparaissent moins comme un grand saut et davantage comme une généralisation naturelle. Tu passes simplement de la génération d’une seule image à celle d’une séquence cohérente. La plupart des modèles T2V et I2V peuvent également générer des images statiques et même des vues 3D en utilisant la même structure de base. La plupart du temps, l’architecture reste la même. Seul l’axe s’étend.

Pour moi, c’est là toute l’élégance des transformateurs. Une fois que tu comprends leur fonctionnement, tu commences ...