仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門

3

Chain-of-Thought（CoT）プロンプティング

3.4

Chain-of-Thought（CoT）プロンプティングは、複雑な推論タスクにおいてLLM の性能を

向上させるための手法です。CoT の基本的なアイデアは、問題を解決する際の中間的な推論

ステップの出力をLLM に促すことです。答えに至るまでの論理的な思考の流れは、そのまま

LLM自身の推論プロセスに反映されるため、より正確で論理的な回答を得ることができます。

これは、Transformerが自身の出力を再帰的に入力し、次の出力の計算に利用するためです。

LLMに推論ステップを出力させる方法には、例示を用いるFew-Shot CoTと、指示のみを

用いるZero-Shot CoTがあります。以降、本節ではそれぞれの手法の詳細を示します。

3.4.1

Few-Shot CoTプロンプティング

Few-Shot CoTプロンプティング [Wei, Wang, et al. 2022] は、ユーザが問題文と共にその

問題を解決するための段階的な解決プロセスの例を数個提示する手法です。これにより、

LLMは提示された解決プロセスを参考にして新しい問題に対する解決プロセスを生成するこ

とができます。

例えば、算術文章問題の場合、ユーザは次のようなプロンプトをLLM に与えます。

I N

例1:

問題: もしあなたが毎日3本のペンを使い、1箱には50本のペンが入っているとします。6箱のペン

を使い切るまでに何日かかりますか？

解決プロセス:

ステップ1: 1箱のペンの本数を確認する。1箱 ...