
054
第2章:プロンプトエンジニアリング
強いパターン
既に述べた通り、大規模言語モデルは前の文章に基づいて次の単語
を予測するように訓練されている。文章を与えると、次の単語を確率
的に決定し、前の文章に新たに決定された単語を連結した文章を使っ
てさらに次の単語を予測することを何度も繰り返しているのだ。
インターネット上のデータを使ってChatGPTが学んでいることの
ひとつが、次の単語が何であるかという「パターン」である。たとえ
ば、「むかしむかしあるところに、おじいさんとおばあさんが住んでい
ました。」というフレーズを聞くと、「おじいさんは山へ柴刈りに」と
いう桃太郎のフレーズが頭に浮かぶのではないだろうか。そしておそ
らく、ChatGPT が多くのデータを使って訓練している最中に、何度も
何度もこのフレーズが現れたはずだ。それはつまり、「むかしむかしあ
るところに、おじいさんとおばあさんが住んでいました。」というフ
レーズは、ChatGPT が何度も見てきた強力なパターンでもあるという
ことだ。そのため、ChatGPT は次に続くフレーズとして「おじいさん
2-2
プロンプトを書くときに
気をつけるべきこと