ゼロから作るDeep Learning ❻ ―LLM編

まえがき

ChatGPTをはじめとする大規模言語モデル（LLM; Large Language Model）は、私たちの日常に大きな変化をもたらしました。自然で滑らかな文章を生み出すその能力は、まるで魔法のようです。しかし、その魔法の仕組みを自らの手で解き明かした人は多くありません。

本書は、そんなブラックボックスに光を当て、LLMをゼロから作り育てる旅へとあなたを誘います。すべてのコア技術をゼロから実装し、現代のLLMと本質的に共通するプロセスを体験します。

同じリズムを、異なるスケールで

LLM開発にはお決まりのパターンが存在します。以下のステップは、多くのLLMが共通してたどる道筋です。

1. トークナイザ：テキストをモデルが理解できる形（トークンIDの列）に変換
2. モデル：トークンIDの列を処理して次のトークンを予測
3. 学習：大量のテキストから言語パターンを学習し、人間の指示に従うよう調整

本書では、この開発工程を3つの異なるスケールで実践します。

第Ⅰ部　基本編——CodeBotを作る

まずはCodeBot——Pythonコードを書いてくれるチャットボットをゼロから実装します。小規模なデータセット（6MB程度）を使って先の3つのステップを丁寧に学んでいきます。実装するモデルは、GPT-2（2019年にOpenAIが公開したオープンソースモデル）です。

CodeBotは簡単な会話や計算ができ、Pythonのコードも指示に従って書いてくれます。ただし、あまり賢くありません。しかし、重要なのは結果ではなく、その過程です。この ...