視覚言語モデル (Japanese Edition)

第8章 ドキュメント AI

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

微調整からデプロイまで一通り見てきたので、次は実世界での例を見てみよう。ドメイン特化型ビジョン言語モデル（VLM）が最適な選択肢だ。ここで学んだことを実践に移すことができる。対象はドキュメント（PDFやスキャンしたページなど）だ。ドキュメントはマルチモーダルな性質を持つため、その処理はマルチモーダルAIの中核的なタスクの一つであり、ドキュメント処理によって大幅な時間の節約が可能になる。さあ、始めよう！

学習目標

この章では、ドキュメント処理に関連する多くのタスクの解決方法、適切なドキュメントタスクに適したモデルとテクニックの選定、そして手元のタスクに合わせてドキュメントモデルをカスタマイズする方法を学ぶ。

ドキュメントAIの導入部

ドキュメント（ ）は、マルチモダリティデータの最良の例の一つだ。テキスト、画像、図表、構造化データ（表）を含んでいる。さらに、ドキュメントのコンテンツは独自のレイアウトで配置されており、すべてのドキュメントがユニークなものとなっている。このため、ドキュメントから情報を抽出するには、最新の解決策が必要となる。

ドキュメントから情報を抽出する方法は多岐にわたる：

• 文書を解析せずに、モデルに直接質問する

• ドキュメントをMarkdown形式にパースし、言語モデル（RAGなど）で処理する

• より単純なタスクの実行：文書分類、フォームフィールドの抽出、レイアウト分析

ドキュメントに関する質問をした際、モデルはレスポンスを生成することも、ドキュメントから正確な回答を抽出することもできる。この違いは、それぞれ生成処理（generative processing）と抽出処理（extractive processing）と呼ばれる。さらに一歩進めて、マルチモーダルモデルを使用してドキュメントの束から単一のドキュメントを検索し、そのドキュメントに対して質問を行い、回答を生成することも可能だ。これはRAG（検索拡張生成）と呼ばれる。

RAGを行うには、Markdownなど、モデルが理解できる形式にすべてを解析する必要がある。テキストは の光学文字認識（OCR）で読み取り、表はテキストとして可読性のある形式（Markdown、LaTeX、HTML）に変換し、図表や画像にはキャプションを付け、数式は数学式としてレンダリングされる。

さまざまなユースケースに合わせて、ドキュメントを処理するあらゆる方法を見ていこう。

情報抽出

文書をプレーンテキストに変換することなく、画像モダリティのまま直接情報を抽出できる（ ）。これは生成型または抽出型のプロセスを通じて行える。生成型情報抽出は、文書理解タスクで訓練されたより汎用的なビジョンLMを用いて行われる。モデルは文書を一瞥し、レスポンスを生成する。

一方、抽出型処理は、より小規模で旧式のアーキテクチャを用いて行われ、答えが直接抽出される。簡単な比較例として、「フランスの首都はどこか？」という質問を、首都と国の一致関係を含む文書に対して投げかけてみよう。汎用モデルは「フランスの首都はパリだ」と答えるのに対し、抽出型モデルは単に「パリ」と答える。後者のモデルは答えを特定して提示するのに対し、前者は答えを生成するのだ。

両者を詳しく見てみよう。

生成型情報抽出

生成モデル は文書を理解し、クエリに対する回答を生成する。推論の一例 ...