仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門

1.3.7

派生系の例：Llama 3

本節では、Transformerの原論文をベースにしたアーキテクチャを紹介しました。商用の最

新のモデルでも、基本的にはTransformer のアーキテクチャを踏襲していると言われていま

す。本節の最後では、オープンソースで公開されているLLM であるLlama 3 のアーキテク

チャについて、本節で説明したTransformer のアーキテクチャとの違いを紹介します。本書執

筆時点の最新のモデルでも細部に改良が加えられているものの、基本的なアーキテクチャは同

じであることがわかります。

主な相違点は次のとおりです。

1. 位置エンコーディングの方法

2. 正規化手法

3. 活性化関数

4. 注意機構のキーとバリューのヘッド数

5. 線形層におけるバイアス項の削除

以降では、これらの相違について順に説明します。

位置エンコーディングの方法の変更

元のTransformer では、位置情報を埋め込みベクトルに加算する位置埋め込み（Positional

Encoding）を使用していました。具体的には、三角関数を用いて位置ごとのベクトルを生成

し、それをトークンの埋め込みベクトルに加算していました。

一方、Llama 3 では、RoPE（Rotary Positional Embeddings）[Su et al. 2023] と呼ばれる

手法を採用しています。RoPEでは、位置情報を埋め込みベクトルに加算するのではなく、注

意機構内でクエリベクトルとキーベクトルの要素に回転操作を適用します。計算の性質によっ ...