直感 LLM ―ハンズオンで動かして学ぶ大規模言語モデル入門

3章大規模言語モデルの仕組み

これまでにトークン化や埋め込みについて紹介してきたので、次は言語モデルの仕組みをさらに詳しく見ていきましょう。本章では、Transformerを使った言語モデルの動作方法について直感的に説明します。とくに生成型のLLMに焦点を当て、テキスト生成モデルについて詳しく学んでいきます。

ここでは、言語モデルに関する概念と関連するサンプルコードを示します。まず、言語モデルを読み込み、テキスト生成のパイプラインを作成し、テキストを生成する準備を整えましょう。最初はコードを飛ばしてもよいので、まずは概念をしっかりと理解してください。次にもう一度読み直すときに、紹介した概念に対する理解をコードを見ながら深めてください。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

# モデルとトークナイザーの読み込み
tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-3-mini-4k-instruct")
model = AutoModelForCausalLM.from_pretrained(
    "microsoft/Phi-3-mini-4k-instruct",
    device_map="cuda",
    torch_dtype="auto",
    trust_remote_code=True,
)

# パイプラインの作成
generator = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    return_full_text ...