生成AIデザインパターン ―AIエージェント構築、アプリケーション開発のベストプラクティス

5章モデルの機能を拡張する

LLMは膨大なデータを用いてパターンを認識することに優れている。次のトークンを統計的に予測することで、首尾一貫し、文脈に即したレスポンスを生成することができる。しかし、これは必ずしもLLMが基礎となる概念を純粋に理解しているということではない。基盤モデルの学習でカバーできていないタスクに関しては、実行できない場合もある。この章では、学習していないタスクを基盤モデルに教えるための4つのパターンについて説明する。

5.1　LLM推論の限界

基盤モデルは記号や単語をうまく操作できる。これは訓練データにある動作を汎化しているだけで、人間のように意味や論理的関係を理解しているわけではない。それでも多くのタスクを実行できるのは、基盤モデルが学習したタスクとそれらのタスクが類似しているからだ。

基盤モデルが苦手とするタスクを説明するのは難しい。そのようなタスクは、本書の一般的な読者には理解しにくいような、難解なタスクや業界特有のタスクだからだ。LLMの訓練データがうまく捉えられないタスクの例としては、投資信託の投資委員会向けのメモ作成や、社内調査の判断などがある。メモは社内の記録であり、調査もその企業固有のもので、公開情報ではないからだ。定義上、広く利用可能な情報源に記述されているタスクはすべてLLMでカバーされる。そこで、LLMの推論能力には限界があることを示すために、ここでは数学と推論の問題を用いる。ただし、本章のパターンは数学や推論の問題に対する解決方法ではなく、投資委員会のメモ作成や社内調査の判断といった問題に対する解決方法であることに注意してほしい。

5.1.1　既知の能力

多くの一般的な数学と推論の問題は、LLMの訓練データセットで十分にカバーされている。例えば、お好みの基盤モデルに次のように依頼してみよう。 ...