実践 LLMアプリケーション開発 ―プロトタイプを脱却し、実用的な実装に迫るための包括的な手引き

4章アーキテクチャと学習目的

　2章と3章では、言語モデルを構成するための基盤となる、訓練データセット、語彙、そしてトークナイザーについて説明してきました。ここからは、モデル本体そのものに注目し、その構造や訓練方法を学ぶことで、LLMの全体像を完成させていきます。

　この章では、言語モデルの構成要素と構造について掘り下げます。現代の言語モデルの大半はTransformerアーキテクチャに基づいて構築されており、その主要な構成要素の理解が不可欠です。ここでは、Transformerのアーキテクチャを構成する各要素を詳しく解説しながら、混合エキスパート（Mixture of Experts：MoE）モデルなど、最近登場した注目すべき派生についても紹介します。さらに、次のトークン予測（Next Token Prediction）といった、言語モデルにおいて広く使われている学習目的（Learning Objective）についても取り上げます。そして、章の最後では、これまでに紹介してきた概念を総合的に活用して、言語モデルをゼロから事前学習する方法を紹介し、これまでの3つの章の概念をまとめます。

4.1　予備知識

　現代の言語モデルはほぼすべて、「ニューロン（Neuron）」と呼ばれる処理単位によって構成されるニューラルネットワークに基づいています。今日のニューラルネットワークは、人間の脳の動作とはほとんど似ていませんが、その概念や用語の多くは神経科学から着想を得たものです。

　ニューラルネットワーク内のニューロンは、特定の構成に従って相互に接続されており、それぞれの接続にはその接続の強さを示す「重み（Weight）」※1が付与されています。それらのニューロンが果たす役割と、どのように相互接続されているかにより、モデルの「アーキテクチャ（Architecture）」を定義します。 ...