ゼロから作るDeep Learning ❻ ―LLM編

5章モデル応用編

本章では、2章で実装したGPT-2モデルを段階的に改善していきます。2019年に発表されたGPT-2は優れたアーキテクチャでしたが、その後も様々な改良が提案されてきました。ここでは、GPT-2の基本設計を保ちながら、RoPE、SwiGLU、RMSNormなど現代的な改良技術を取り入れていきます。これらの改善によって、より効率的でより長い文脈を扱えるモデルを実現します。

なお実装にあたっては、gpt-oss［OpenAI, 2025］、nanochat［Karpathy, 2024］、スタンフォード大学のCS336コース［Stanford CS336, 2025］などの実装を参考にしています。

5.1　RoPE

「2.5　位置エンコーディング」では、Transformerの位置エンコーディング手法について学びました。具体的には、「正弦波位置エンコーディング」や「学習可能な位置エンコーディング」といった手法です。これらの手法は広く使われていますが、「トークンが何番目にあるか」という絶対位置の情報を用いるという共通点があります。

しかし、言語においてより重要なのは、絶対位置よりも相対位置です。たとえば、「The cat ate the fish」という文では、「cat」が2番目にあるという情報より、「cat」と「ate」の間の関係性（主語と述語が何トークン離れているか）といった相対的な位置関係がより重要です。

RoPE（Rotary Position Embedding）［Su et al., 2021］は、回転行列を用いて、相対位置の情報をAttentionに組み込む手法です。本節ではRoPEの仕組みと実装を見ていきます。

5.1.1　RoPEのアイデア

RoPEを理解するには、まずAttentionの仕組みを押さえておく必要があります。Attentionの計算式を思い出してみましょう。 ...