ゼロから作るDeep Learning ❻ ―LLM編

0章LLMができるまで

本格的な実装に入る前に、まずはLLMがどのような仕組みで動いているのか、その全体像をつかんでおきましょう。ここでは、LLMを支える主要な「構成要素」、そして「事前学習」「事後学習」という学習プロセスについて解説します。一見すると複雑に思えるLLMの内部で、実際にはどのようなことが起きているのかを一歩ずつ明らかにしていきます。

LLMの構成要素

LLMの内部構造を理解するために、主要な構成要素を見ていきましょう。まずは、LLMの核心である言語モデルについて説明します。

言語モデルの仕組み

言語モデルは、ある文字列に対してそれが「どれくらい自然で適切か」を確率で表現するモデルです。たとえば、次の2つの文を考えてみましょう。

• A cat sat on the mat
• Mat the on sat cat a

言語モデルは前者のほうにより高い確率を与えます。

では、この確率をどう計算するのでしょうか？ ひとつの方法が、次の単語を予測するというアプローチです。たとえば「A cat sat on the」と入力すると、言語モデルは続く単語の候補とその確率を出力します（図0-1）。

図0-1　言語モデルによる次の単語予測の例

図0-1では、「mat（マット）」「chair（椅子）」「floor（床）」といった単語に高い確率が割り当てられています。「猫が座る場所」として自然な単語ほど高い確率が、不自然な単語ほど低い確率が与えられます。

言語モデルの特徴は、