AI時代の質問力 プロンプトリテラシー 「問い」と「指示」が生成AIの可能性を最大限に引き出す

022

第1章：大規模言語モデルの登場

対話に特化した学習

さて、ここまでトランスフォーマーと自己教師あり学習という2つ

の技術について紹介した。これらの技術がChatGPTの名前にも反映

されている。GPTは「GenerativePre-trainedTransformer」の略

で、トランスフォーマーを使い、事前学習

＊

された生成モデルである

ことを意味している。

そして「Chat」という部分は、このモデルが人間との対話、つまり

チャットに特化して学習されたことを示している。要するに、トラン

スフォーマーと自己教師あり学習のモデルをカスタマイズし「対話用

の仮面を被せたモデル」ということだ。

事前学習によって、モデルは大量のテキストデータを読むことで、

一般的な言語知識を習得する。これは、人間が本などの文章を読むこ

とで言語を学ぶのと似ている。ただし、この段階ではあくまで本から

得た知識であり、人との会話に必ずしも適しているわけではない。外

国語をテキストだけで学んだ場合、実際の会話では少し不自然な会話

になることがある。自然な会話を身につけるためには、その言語の話

者と実際に話す豊富な経験が必要だ。

モデルに対しても同様のことが言える。人との対話に特化するよう

に、事前学習を終えたモデルを対話用にカスタマイズしてあげる必要

がある。この追加の学習を経て、より自然な会話を可能にしたのが

ChatGPTだ。

具体的には、次の3つのステップを通してモデルのチューニングを

行う。

1. モデルに質問への適切な答え方を教える。 ...