初めてのLangChain ―LangChainとLangGraphによるAI/LLMアプリケーションの構築

2章RAGによるデータのインデックス化

前章では、LangChainを用いてLLMアプリケーションを構築するための主要コンポーネントを学習した。また、モデルにプロンプトを送り、そのレスポンスを受け取るだけのシンプルなAIチャットボットも作成した。しかし、このチャットボットには大きな制約がある。

モデルがまだ学習していない知識を必要とするような、ユースケースの場合はどうだろうか。例えば、AIに企業に関する質問を投げたいが、その情報は社外秘のドキュメントなどにしか存在しないとしよう。モデル提供者は世界中の公開情報を形式を問わず学習データに取り込み続けているものの、LLM知識コーパスには依然として次の2つの大きな制限がある。

非公開データ

公開されていない情報は、当然ながらLLMの学習データには含まれない。

時事情報

LLM学習にはデータ収集から始まる長期間かつ高コストな工程が必要である。そのためモデルは学習データが確定した日付以降の出来事については知らないという、いわゆるナレッジカットオフが生じる。カットオフはモデルによって数か月前から数年前まで幅がある。

いずれの場合も、モデルはハルシネーションを起こして誤った回答を返す可能性が高い。プロンプトを工夫しても、モデルが持つ知識自体が不足していれば根本的な解決にはならない。

2.1　LLMに関連するコンテキストを渡す

LLMが扱う必要のある非公開／時事情報がせいぜい1〜2ページ程度なら話は簡単だ。その全文を毎回プロンプトに含めてしまえばよい。

しかし現実には、プロンプトに入り切らないほど大量の情報を扱うことが多い。モデルを呼び出すたびに、その膨大なコレクションの中からどの断片を選ぶべきだろうか。言い換えれば、質問に最も関連するテキストを（モデルの力も借りつつ）どう選択するかが課題となる。 ...