book

ゼロから作るDeep Learning ❻ ―LLM編

Name: ゼロから作るDeep Learning ❻ ―LLM編
Author: 斎藤 康毅
ISBN: 9784814401611

by 斎藤康毅

June 2026

Intermediate

384 pages

4h 17m

Japanese

O'Reilly Japan, Inc.

Read now

Unlock full access

　表紙
　大扉
　クレジット
　まえがき
　0章 LLMができるまで
第Ⅰ部　基本編——CodeBotを作る
　　I.1　開発の流れ　　I.2　事前学習　　I.3　SFT（教師ありファインチューニング）　　I.4　強化学習
　1章　トークナイザ【基本編】
　　1.1　文字単位のトークン化　　　1.1.1　文字をIDに変換する　　　1.1.2　文字単位トークナイザの実装　　　1.1.3　文字単位トークナイザの課題　　1.2　バイト単位のトークン化　　　1.2.1　UTF-8エンコード　　　1.2.2　バイト単位トークナイザの実装　　　1.2.3　バイト単位トークナイザの課題　　1.3　BPEの学習アルゴリズム　　　1.3.1　BPEの処理手順　　　1.3.2　BPEの実装　　　　　BPEのタイブレーク（引き分け処理）　　　1.3.3　BPEの動作確認　　1.4　BPEによるエンコードとデコード　　　1.4.1　BPEトークナイザの実装　　　1.4.2　エンコードの実装　　　1.4.3　デコードの実装　　　1.4.4　動作確認　　1.5　特殊トークンへの対応　　　1.5.1　特殊トークンの役割　　　1.5.2　特殊トークンに対応したBPEの学習　　　1.5.3　train_bpe関数の実装　　　1.5.4　特殊トークンに対応したトークナイザの実装　　1.6　事前トークン化　　　1.6.1　事前トークン化の必要性　　　1.6.2　GPT-2の事前トークン化パターン　　　1.6.3　事前トークン化に対応したBPE学習の実装　　　1.6.4　事前トークン化に対応したトークナイザの実装　　1.7　TinyCodesを用いた学習　　　1.7.1　トークナイザの読み込み機能　　　1.7.2　これまでのコードの整理　　　1.7.3　TinyCodesデータセットを用いた学習　　1.8　トークナイザの評価　　　1.8.1　学習済みトークンの確認　　　1.8.2　圧縮効率の測定　　　1.8.3　他トークナイザとの比較　　1.9　TinyCodesのエンコード
　2章　モデル【基本編】
　　2.1　Attentionの基本原理　　　2.1.1　Pythonのディクショナリ　　　2.1.2　ソフトなディクショナリ　　　2.1.3　ソフトなディクショナリの実装例　　2.2　Attentionの数式と実装　　　2.2.1　Attentionを数式で表す　　　2.2.2　複数クエリへの対応　　　　　Attentionの行単位の計算　　　2.2.3　Attentionの実装　　2.3　Attentionスケーリング　　　2.3.1　ソフトマックス関数の飽和問題　　　2.3.2　スケーリングの導入　　　2.3.3　スケーリングの効果　　2.4　Transformerの基本構造　　　2.4.1　Transformerの動作プロセス　　　　　Transformerと文章の確率計算　　　2.4.2　TransformerにおけるAttentionの役割　　2.5　位置エンコーディング　　　2.5.1　位置情報が必要な理由　　　2.5.2　位置エンコーディングの仕組み　　　2.5.3　絶対位置エンコーディング　　　2.5.4　学習可能な位置エンコーディング　　2.6　Attentionマスク　　　2.6.1　効率的なデータ形式　　　2.6.2　Attentionの問題点　　　2.6.3　Attentionマスクの仕組み　　　2.6.4　Attentionマスクの実装　　2.7　バリュー行列の効率化　　　2.7.1　大規模モデルにおけるAttentionの課題　　　2.7.2　行列分解による低ランク近似　　　2.7.3　行列分解によるAttentionの新たな解釈　　　2.7.4　実装例　　2.8　マルチヘッドAttention　　　2.8.1　複数の視点で捉える　　　2.8.2　マルチヘッドAttentionの数式　　　2.8.3　2つの等価な数式　　　2.8.4　マルチヘッドAttentionの実装　　　2.8.5　マルチヘッドAttentionの実装（まとめ）　　2.9　Transformerブロック　　　2.9.1　LayerNormの仕組み　　　2.9.2　LayerNormの実装　　　2.9.3　FFNの実装　　　2.9.4　Transformerブロックの実装　　2.10　GPT-2　　　2.10.1　GPT-2の実装　　　2.10.2　モデルの改良　　　2.10.3　モデルの保存と読み込み　　　2.10.4　動作確認
　3章　学習【基本編】
　　3.1　事前学習　　　3.1.1　データセットの確認　　　3.1.2　デバイスの設定　　　3.1.3　事前学習のコード（前半部分）　　　3.1.4　事前学習のコード（後半部分）　　　3.1.5　学習結果の確認　　3.2　テキスト生成　　　3.2.1　テキスト生成の方法　　　3.2.2　温度パラメータ　　　3.2.3　Top-kとTop-pサンプリング　　　3.2.4　テキスト生成の実装　　　3.2.5　テキスト生成の実行　　3.3　SFT（教師ありファインチューニング）　　　3.3.1　SFT用データセットの形式　　　3.3.2　Alpaca形式でトークン化する　　　3.3.3　マスク処理　　　3.3.4　パディング　　　3.3.5　SFTの実装　　　3.3.6　学習結果の確認　　3.4　SFTモデルとの対話　　　3.4.1　インタラクティブな対話　　　3.4.2　モデルの計算能力　　3.5　強化学習と言語モデル　　　3.5.1　強化学習と言語モデルの対応関係　　　3.5.2　軌跡　　　3.5.3　報酬と収益　　　3.5.4　言語モデルにおける報酬と収益　　3.6　方策勾配法　　　3.6.1　方策を直接改善する　　　3.6.2　方策勾配の導出　　　3.6.3　方策勾配の近似　　3.7　ベースライン　　　3.7.1　ベースラインのアイデア　　　3.7.2　ベースライン付き方策勾配法　　　3.7.3　GRPO：グループ平均をベースラインにする　　　　　GRPOとDr. GRPO　　3.8　オフポリシーとクリッピング　　　3.8.1　オンポリシー学習とオフポリシー学習　　　3.8.2　重要度サンプリングによる勾配の導出　　　3.8.3　重要度重みの近似　　　3.8.4　クリッピングによる安定化　　3.9　GRPO　　　3.9.1　GRPOのアルゴリズム　　　3.9.2　GRPOの実装　　　3.9.3　実験結果
第Ⅱ部　応用編——StoryBotを作る
　　II.1　データセット　　II.2　開発の流れ

　4章　トークナイザ【応用編】
　　4.1　BPE学習の改善①：重複除去　　　4.1.1　元の実装の問題点　　　4.1.2　重複の除去　　　4.1.3　改良版のBPE学習　　　4.1.4　改良版の動作確認　　4.2　BPE学習の改善②：部分更新　　　4.2.1　現在の問題点　　　4.2.2　キャッシュによる部分更新　　　4.2.3　改良版の実装　　　4.2.4　動作確認　　4.3　BPE学習の改善③：分割処理　　　4.3.1　大規模データでの問題　　　4.3.2　メモリ消費の原因　　　4.3.3　ファイルの部分読み取り　　　4.3.4　改良版のtrain_bpe関数　　　4.3.5　動作確認　　　　　事前トークン化のメモリ効率化　　4.4　BPE学習の改善④：並列化　　　4.4.1　Pythonでの並列処理　　　4.4.2　事前トークン化の並列処理　　　4.4.3　動作確認　　4.5　トークナイザの評価　　　4.5.1　学習済みトークンの確認　　　4.5.2　圧縮効率の測定　　　4.5.3　CodeBotトークナイザとの比較　　4.6　BPEエンコードの改善①：高速マージ　　　4.6.1　現状のエンコード実装　　　4.6.2　効率的なエンコード処理　　　4.6.3　改良版の実装　　　4.6.4　動作確認　　4.7　BPEエンコードの改善②：大規模データ対応　　　4.7.1　分割処理　　　4.7.2　チャンク処理の実装　　　4.7.3　np.memmapによる効率的な書き出し　　　4.7.4　エンコードの実装　　　4.7.5　動作確認
　5章　モデル【応用編】
　　5.1　RoPE　　　5.1.1　RoPEのアイデア　　　5.1.2　高次元ベクトルへの拡張　　　5.1.3　RoPEの実装　　　5.1.4　MultiHeadAttentionクラスへの組み込み　　5.2　SwiGLU　　　5.2.1　Swish関数　　　5.2.2　GLUとSwiGLU　　　5.2.3　SwiGLUを使ったFFN　　　5.2.4　SwiGLUの実装　　5.3　RMSNormとその他の改良　　　5.3.1　RMSNorm　　　5.3.2　Dropoutの削除　　　5.3.3　バイアスの削除　　　5.3.4　重み共有の廃止　　5.4　改良版GPTの実装　　　5.4.1　Blockクラスの実装　　　5.4.2　GPTクラスの実装　　　5.4.3　モデルの保存と読み込み　　　5.4.4　動作確認　　5.5　KVキャッシュ　　　5.5.1　テキスト生成における無駄　　　5.5.2　AttentionとKVキャッシュ　　　5.5.3　PrefillとDecode　　　5.5.4　KVキャッシュの実装　　　5.5.5　テキスト生成での使用
　6章　学習【応用編】
　　6.1　AdamWの仕組み　　　6.1.1　SGD（確率的勾配降下法）　　　6.1.2　Momentum（モーメンタム）　　　6.1.3　Adam（Adaptive moment estimation）　　　6.1.4　AdamW　　6.2　AdamWの実装　　　6.2.1　SGDの実装　　　6.2.2　AdamWの実装　　　6.2.3　動作確認　　6.3　学習率スケジュール　　　6.3.1　なぜ学習率を変化させるのか　　　6.3.2　ウォームアップとアニーリング　　　6.3.3　D2Zの実装　　6.4　混合精度　　　6.4.1　低精度の問題点　　　6.4.2　浮動小数点数の表現方法　　　6.4.3　混合精度の活用　　　　　GPU環境でBF16が使えない場合　　6.5　事前学習（改良版）　　　6.5.1　メモリマップによるデータ読み込み　　　6.5.2　勾配クリッピング　　　6.5.3　検証データによる評価　　　6.5.4　事前学習の実装　　6.6　テキスト生成とモデル評価　　　6.6.1　テキスト生成　　　6.6.2　モデルの評価　　　6.6.3　LLM-as-a-Judge　　6.7　RLHFとDPOの理論　　　6.7.1　RLHFとDPOが解く問題　　　6.7.2　Bradley-Terryモデルと選好データ　　　6.7.3　RLHFのアプローチ　　　6.7.4　DPOのアプローチ　　6.8　DPOの実装　　　6.8.1　選好データとマスクの設計　　　6.8.2　DPOの実装　　　6.8.3　DPOモデルの評価
第Ⅲ部　挑戦編——WebBotを作る
　　III.1　データセット　　III.2　開発の流れ
　7章　トークナイザ【挑戦編】
　　7.1　WebBotのトークナイザ　　7.2　ボトルネックの検出　　7.3　Rust / C++による高速化　　7.4　特殊トークンの追加　　7.5　他のトークナイザ　　7.6　トークナイザを使わないアプローチ
　8章　モデル【挑戦編】
　　8.1　モデルサイズの選択　　8.2　Flash Attention　　8.3　Grouped-Query Attention（GQA）　　8.4　Mixture of Experts（MoE）　　8.5　torch.compile　　8.6　コンテキスト長の拡張
　9章　学習【挑戦編】
　　9.1　勾配蓄積　　9.2　勾配チェックポイント　　9.3　分散学習　　9.4　ZeRO　　9.5　Muonオプティマイザ　　9.6　Weights & Biases　　9.7　WebBotの学習と生成結果
　付録A　UTF-8エンコーディングの仕組み
　付録B　Attentionのスケーリング効果の証明
　付録C　ベースライン付き方策勾配の不偏性の証明
　付録D　Adamのバイアス補正
　付録E　DPOの最適解の導出
　おわりに
　参考文献
　著者紹介
　奥付

Content preview from ゼロから作るDeep Learning ❻ ―LLM編

付録EDPOの最適解の導出

「6.7.4　DPOのアプローチ」では、報酬関数と最適方策 $\pi^*$ の関係式を示しました。ここでは、その関係式を数学的に導出します。

問

任意の報酬関数 r(x, y) に対し、次の最適化問題を考えます。

$\max_{\pi} \mathbb{E}_{x \sim \mathcal{D}, y \sim \pi(y \mid x)} \left[ r(x, y) \right] - \beta \mathbb{D}_{\text{KL}} \left[ \pi(y \mid x) \,\|\, \pi_{\text{ref}}(y \mid x) \right]$

この最適解 $\pi^*$ と報酬関数の関係は次式で書けることを証明してください。

$r(x, y) = \beta \log \frac{\pi^*(y \mid x)}{\pi_{\text{ref}}(y \mid x)} + \beta \log Z(x)$

ここでは以下の正規化定数（分配関数）とします。 ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

Publisher Resources

ISBN: 9784814401611Publisher Website

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design

Business

Soft Skills

ゼロから作るDeep Learning ❻ ―LLM編

by 斎藤康毅

付録EDPOの最適解の導出

問

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.