Transformer実践ガイド ―画像・音声・時系列からエージェントまで

5章動画生成のためのTransformer

本章では、これまでに学んできた内容が、動画生成モデルの中でどのようにつながるのかを見ていきます。ここまでの章では、ViTが画像をパッチの列として扱う方法（「3.2　ビジョンモデルにおける埋め込みとトークン化」）や、DiTがその考え方を拡散モデルによる画像生成へ拡張する方法（「4.2　Transformerを用いたスケーラブルな拡散モデル」）を扱いました。動画生成モデルでは、この考え方がさらに時間方向へ拡張されます。つまり、1枚の画像に対応する空間方向の情報だけでなく、複数のフレームにまたがる時間方向の情報を扱うようになります。また、「1.2.1　大きなコンテキストウィンドウによる性能向上」で扱った回転位置埋め込みも、本章で再び登場します。

テキストに基づいて画像を生成するモデル（text-to-image：T2I）の仕組みを理解していれば、テキストに基づいて動画を生成するモデル（text-to-video：T2V）や画像に基づいて動画を生成するモデル（image-to-video：I2V）もその自然な拡張として捉えられます。多くのテキストや画像に基づいて動画を生成するモデルは、同じバックボーンを使って静止画像や3Dビューも生成できます。ほとんどの場合、アーキテクチャ自体は変わりません。増えるのは軸だけです。

ここにTransformerの大きな特徴があります。Transformerの仕組みを理解すると、画像、動画、音声など、異なる種類のデータに共通する構造が見えてきます。本書が言語を超えたTransformerを扱う理由もそこにあります。重要なのは、深層学習における他のモデルのように各ドメインをまったく別々のものとして扱うことではなく、同じアーキテクチャがどのように異なるドメインへ拡張されるのかを理解することです。 ...