視覚言語モデル (Japanese Edition)

第1章 視覚と言語の導入部

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

私たち は、社会的かつ視覚的な生き物だ。私たちは集団で進化し、生き残るために互いに依存してきた。私たちの脳は、コミュニケーション、共感、そしてつながりのために形成されている。感情的な幸福さえも、人間関係と深く結びついている。絆を強めるために、私たちはコミュニケーションを最適化するツールである言語を発達させ、対面でのやり取りの限界を超えていくことを可能にした文字体系を生み出した。

しかし、私たちの持つあらゆる感覚の中でも、視覚は世界に対する認識を支配している。脳の大部分は視覚情報の処理に割かれている。私たちは視覚に頼って環境を理解し、スペースを移動し、他者を認識し、表情やボディランゲージといった微妙な社会的合図を捉えている。

それゆえ、私たちが知能システムを構築しようとした際、二つの壮大な課題に魅了されたのは当然のことだ。それは、人間とコミュニケーションを取るための言語を教えることと、人間と同じように世界を認識するための視覚を教えることである。 当初、私たちのシステムは言語か視覚のいずれかを扱うにとどまり、両方を同時に処理することはできなかった。しかし時が経つにつれ、 、一連の画期的な進歩により、これら二つの豊かなモダリティを統合されたアーキテクチャに融合させることが可能となり、現在「ビジョン・ランゲージ・モデル（VLM）」と呼ばれるものが誕生した。

本章では、この新たなパラダイムへとつながった機械学習とコンピュータビジョンの歴史を概観し、今後待ち受けるエキサイティングな進歩への布石を打つ。

今日の VLMは、ほんの数年前ならSFのように思われたようなことを実現できる。いくつかの例を考えてみよう：

画像の記述と推論

モデルに写真を提示し、「ここで何が起きているのか？」と尋ねれば、詳細で文脈に沿った回答が得られる。OpenAIのGPTシリーズやGoogle Geminiのようなモデルは、グラフの解釈、レシートからのデータ抽出、製品デザインの比較、そして微妙なニュアンスを含む視覚的な質問への回答が可能だ。

長い動画を理解する

今日のVLMは1時間にも及ぶ動画を処理し、要約したり、動画内で何が起きているかに関する質問に答えたりできる。

画像内のテキストを多言語で読み取る

最新のVLMは文書をネイティブに理解し、手書きのメモを含め、ほぼすべての言語のテキストを認識できる。

これらの機能は驚くべきものだが、同時に「これらのモデルは実際にはどのように機能しているのか？」という自然な質問も生じさせる。実のところ、クローズドなモデルについては、我々には見当もつかない。しかし、オープンなモデルであれば、リバースエンジニアリングが可能だ！オープンなモデルもまた、長年にわたる科学的な研究とアイデアの蓄積であるため、まずは主要な構成要素と、「なぜここに至ったのか」という簡単な歴史を学ぶ必要がある。 この章では、これまでの画像処理やテキストのプロセスについて少し歴史を振り返る。そうすれば、パラダイムがどのように変化しようとも、新技術を素早く理解できるようになるだろう。さらに、画像とテキストがどのように結びつけられるのかについても見ていく。

学習目標

この章では、画像処理とテキスト処理の基本概念について学ぶ。理論だけでなく、その理論を実践に移すために必要なツールについても学ぶ。

コンピュータビジョンの導入部 ...