視覚言語モデル (Japanese Edition)

第9章 ビデオ言語モデル

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

時間とともに展開する イベントの「いつ」「どのように」という点が、写真を解釈することと物語を理解することの違いだ。世界は静止していない。図9-1の鹿は、道路で何をしているのだろうか。複数のフレームを見ると、それは公園にいて、人々は怖がっているのではなく、鹿を観察し、やり取りを楽しんでいることがわかる。

図9-1. 動画のフレームとそのタイムスタンプを動画言語モデルに与えると 、回答が得られる。

動画には、画像が持つすべての要素に加え、時間が含まれている。時間的次元は、一見すると単純そうに見えて実は処理負荷が高い。10秒のクリップにつき300フレーム、シーケンスの長さに比例して爆発的に増加する二次関数的なアテンションコスト、そして単にオブジェクトが何であるかだけでなく、どのように動くかを理解する必要がある動きのパターンなどだ。強力な画像分類器であっても、個々のフレームを正確に識別できても、それらを結びつける一連の動作を見逃してしまう可能性がある。

この章では、ビデオ言語モデルがこれらの課題にどのように取り組んでいるかを学ぶ。時間的モデリング機構がどのように動きやイベントのシーケンスを捉えるか、注意戦略がどのようにGPU上で処理しつつ数百フレームに対応するスケールを実現するか、そして埋め込みモデルと生成モデルを組み合わせて、大規模で動作する実用的なパイプラインを構築する方法について見ていく。

この章の終わりまでに、以下のことができるようになる：

• ビデオモデルが3D畳み込みニューラルネットワーク（CNN）から現代のトランスフォーマーアーキテクチャへとどのように進化したか、そしてなぜ因数分解が繰り返し用いられる設計原則なのかを理解する

• 時系列アテンション機構（因数分解型、階層型、クロスモーダル型）と位置エンコーディングが、モデルに時間に関する推論を可能にする仕組みを理解する

• タスクに応じて埋め込みモデルと生成モデルのどちらを選ぶか判断し、それぞれのコストへの影響を理解する

• 完全なVideo-RAGパイプラインを構築する：セグメンテーション、埋め込み、インデックス作成、再ランク付け、および文脈に基づいた回答の生成

• フレームサンプリングやラベルマスキングといった動画特有の考慮事項を踏まえ、QLoRAを使用してドメインデータ上で動画言語モデルをファインチューニングする

ポップコーンを用意して、モデルに時間軸を理解させる方法を学んでいこう！

学習目標

時系列モデリングが画像ベースのアーキテクチャをどのように拡張するか、また埋め込みアプローチと生成アプローチのどちらをいつ使用すべきかを理解し、実用的なビデオ言語パイプラインを構築する。

基礎

このセクションでは、 のビデオ言語モデルが実際に何を行うのか、そしてそれらが画像モデルから時系列データを扱うようにどのように進化したかを理解するための重要な概念を学ぶ。最後には、ビデオモデルがどのような問題を解決するのか、そしてそれらが機能する鍵となる革新の両方を理解できるようになる。

まずはタスクから始めよう。動画モデルが何ができるかを知ることで、「どのように機能するか」という点がより興味深いものになるからだ。 ...