ゼロから作るDeep Learning ❻ ―LLM編

2章モデル基本編

2章の目標は、Transformerの仕組みを理解し、自ら実装できるようになることです。まずはTransformerの中核となる「Attention」について学びます。その仕組みをゼロからひも解き、数式や実装を通じてその役割を明らかにしていきます。続いてTransformerの構成要素を1つずつ説明し、最終的にはGPT-2を完成させます。

なお、本章で実装するGPT-2は、GPT-2の原論文［Radford et al., 2019］、およびその再現実装であるnanoGPT［Karpathy, 2023］を参考にしています。

2.1　Attentionの基本原理

ここではTransformerの中核技術である「Attention（注意機構）」について学びます。Attentionは「ソフトなディクショナリ」として捉えることができます。この概念を理解するために、まず「ハード」なディクショナリの例としてPythonのディクショナリを振り返り、次に「ソフト」の意味を探ります。

2.1.1　Pythonのディクショナリ

ディクショナリは「連想配列」や「ハッシュテーブル」とも呼ばれ、キーとバリューのペアでデータを格納するデータ構造です。Pythonでは、ディクショナリは以下のように使用します。

ch02/01_soft_dict.py

# ディクショナリの例
d = {
    'apple': 100,
    'banana': 200,
    'cherry': 300,
    'durian': 400
}

# キーを指定してバリューを取得
query = 'banana'
print(d[query])  # 200

ここではdというディクショナリを作成し、キーが'banana'、バリューが ...