初めてのLangChain ―LangChainとLangGraphによるAI/LLMアプリケーションの構築

4章LangGraphを使ってチャットボットにメモリを追加する

「3章　RAGによるデータとのチャット」では、AIチャットボットアプリケーションに最新かつ適切なコンテキストを付与する方法を学んだ。これによって、チャットボットはユーザーの入力に基づいて正確なレスポンスを生成できるようになる。とはいえ、それだけでは本番環境に耐えうるアプリケーションとは言えない。では、過去のチャットと関連コンテキストを記憶しながら、ユーザーと実際に「チャット」できるようにするにはどうすればよいだろうか。

大規模言語モデルはステートレスである。すなわち、各回のプロンプト入力は独立しており、モデルはそれ以前のプロンプトやモデルのレスポンスを記憶していない。こうした履歴情報をモデルに渡すには、過去の会話と文脈を追跡できる堅牢なメモリシステムが必要である。この履歴情報を最終的なプロンプトに含めてLLMへ渡すことで、LLMに「メモリ」を持たせることができる。図4-1はその概念を示している。

図4-1 LLMが文脈を考慮した回答を生成するために用いるメモリと検索

本章では、この重要なメモリシステムをLangChainに組み込まれているモジュールを活用して構築する方法を学ぶ。

4.1　チャットボットメモリシステムの構築

堅牢なメモリシステムには、2つの中核となる設計上の決定事項がある。

• ステートの保存方法
• ステートの参照（クエリ）方法

これら2つの設計課題を満たすシンプルなチャットボット用メモリシステムを構築する最も簡単な方法は、ユーザーとモデルの全チャット履歴を保存して再利用することである。メモリシステムのステートは次のように扱う。 ...