
062
第2章:プロンプトエンジニアリング
ハルシネーション
前節では、大規模言語モデルが穴埋め問題の延長として後続する単
語を次々と選択し、文章を生成する実例をいくつか紹介した。あらた
めて例を挙げれば、「私は今朝…」の後に続く単語には「目玉焼き(を
食べた)」「寝坊(してしまった)」「鶏(の声で目が覚めた)」のような
多様な可能性が存在し、その中から一連の言語的な流れが確率的に選
択される。
これに対して、「1+1=…」(これもある意味で文章だ)の後に続く
単語はどうあるべきだろうか。おそらくほとんどのケースで私たちは
「1+1=2」という結果を期待するはずだ。しかし、こうした「数式処
理」は言語の穴埋め問題とは根本的に思考の原理が異なる処理である。
大規模言語モデルは私たちの慣れ親しんだ自然言語をうまく操るので、
一見して論理的に振る舞っているように見える。しかし、そこに数式
処理を行うロジックが存在するわけではないのだ。したがって、この
ような簡単な算数でも間違いを犯すことがある。より正しくは、そも
2-3
大規模言語モデルを
飼いならす