視覚言語モデル (Japanese Edition)

はじめに

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

今日では、美術館でスマートフォンを取り出し、絵画の写真を撮り、その作品がどのような影響を受けているか、あるいは何を伝えようとしているのかについて、モデルに尋ねることができる。同じモデルがスマートフォンの動画を視聴し、後でそれらを発見しやすくするための簡単な要約を提供することも可能だ。視覚言語モデル（VLM） は、視覚的知覚と言語を結びつけることで、これらすべてを実現している。これらは研究用プロトタイプから、人々が日常的に使用する実際の製品へと急速に進化した。

しかし、 これらのモデルを使って新しいものを構築するのは、ユーザ体験が示唆するよりも難しい。この分野は急速に進化しており、毎日新しい論文が発表され、実用的なガイダンスはブログ記事やライブラリのドキュメント、ネットワーキングイベントで交わされる非公式な知識などに散在している。VLMを使用、トレーニング、またはファインチューニングしたい場合、適切なアーキテクチャの選び方、データセットのキュレーション方法、効率的なデプロイ方法がすぐにはわからない。結局、知識を自分でつなぎ合わせていくことになる。

本書は、その状況を変えようとする我々の試みだ。マルチモダリティ研究が単なる研究上の好奇心の対象から、エンジニアリング上の課題へと変わった時、我々が「こんな本があればよかった」と願っていた本である。

著者たちは、Hugging Faceにおいて長年にわたりオープンソースのマルチモダリティシステムの構築、文書化、リリースに携わってきたチームだ。 私たちは共同で、SmolVLMのようなVLMをトレーニング・公開し、数十のマルチモーダルモデルをオープンソースエコシステムに統合し、実務家がこれらのモデルを利用できるようにするツールやデモを構築し、その背後にあるアイデアについて幅広く執筆してきた。その経験がこの本を形作った。私たちはコードと具体的な例を最優先し、理論は読者を感心させるためではなく、なぜ物事が機能するのか（あるいは機能しないのか）を説明するために用いている。

本書は意図的な構成となっている。前半では、基礎から始まり、VLMのゼロからのトレーニング、実世界のデータキュレーション、トレーニング後の処理、主要なアーキテクチャ、そして大規模なデプロイメントまでを網羅する。後半では、ドキュメントAI、ビデオ言語モデル、any-to-anyシステム、そして受動的な理解から意思決定や行動へと移行するエージェント型VLMといった、特殊化したドメインへと踏み込む。

本書は誰のためのものか？

この『 』は、実践において最新のビジョン・ランゲージ・システムを扱いたいと考える機械学習エンジニア、研究者、そして技術志向のビルダーを対象としている。APIやオープンウェイトのチェックポイントを通じてマルチモーダルモデルを既に利用しているが、その内部で何が起きているのかを理解し、独自のシステムを構築したいと考えている人向けだ。

本書は、基礎から始める機械学習の完全な導入部ではない。読者はPythonやノートブック、そして基本的な機械学習の概念に慣れていることを前提としている。ほとんどの例ではPyTorchとHugging Faceのエコシステムを使用しているため、これらのツールに事前に触れておくと役立つが、必須ではない。GPUやクラウドノートブックに慣れ親しんでいると、実践的なパートがよりスムーズに進むだろう。 ...