book

直感 LLM ―ハンズオンで動かして学ぶ大規模言語モデル入門

Name: 直感 LLM ―ハンズオンで動かして学ぶ大規模言語モデル入門
ISBN: 9784814401154

by Jay Alammar, Maarten Grootendorst, 中山光樹

June 2025

Intermediate to advanced

424 pages

7h 8m

Japanese

O'Reilly Japan, Inc.

Read now

Unlock full access

　表紙
　大扉
　原書大扉
　クレジット
　賞賛の声
　訳者まえがき
　まえがき
第Ⅰ部　言語モデルの理解
　1章　入門大規模言語モデル
　　1.1　言語AIとは？　　1.2　言語AIの近年の歴史　　　1.2.1　Bag-of-Wordsによる言語の表現　　　1.2.2　埋め込みによる言語の表現　　　1.2.3　埋め込みの種類　　　1.2.4　注意機構による文脈のエンコードとデコード　　　1.2.5　Attention Is All You Need　　　1.2.6　表現モデル：エンコーダーのみのモデル　　　1.2.7　生成モデル：デコーダーのみのモデル　　　1.2.8　生成AIの年　　1.3　大規模言語モデルの定義の変遷　　1.4　大規模言語モデルの学習パラダイム　　1.5　大規模言語モデルの応用例　　1.6　責任あるLLMの開発と使用　　1.7　限られた計算資源で十分　　1.8　大規模言語モデルとのインターフェイス　　　1.8.1　プロプライエタリなプライベートモデル　　　1.8.2　オープンモデル　　　1.8.3　オープンソースフレームワーク　　1.9　はじめてのテキスト生成　　1.10　まとめ
　2章　トークンと埋め込み
　　2.1　LLMにおけるトークン化　　　2.1.1　トークナイザーの概要　　　2.1.2　トークナイザーのダウンロードと実行　　　2.1.3　トークナイザーによるテキストの分割方法　　　2.1.4　単語トークン、サブワードトークン、文字トークン、バイトトークンの違い　　　2.1.5　学習済みトークナイザーの比較　　　2.1.6　トークナイザーの特性　　2.2　トークン埋め込み　　　2.2.1　言語モデルはトークナイザーの語彙に対する埋め込みを保持している　　　2.2.2　言語モデルを用いた文脈を考慮したトークン埋め込みの作成　　2.3　テキスト埋め込み（文や文書全体の埋め込み）　　2.4　LLM以外での単語埋め込みの使い方　　　2.4.1　事前学習済み単語埋め込みの使い方　　　2.4.2　Word2vecのアルゴリズムと対照学習　　2.5　推薦システムのための埋め込み　　　2.5.1　埋め込みを使った曲の推薦　　　2.5.2　曲の埋め込みモデルの学習　　2.6　まとめ

　3章　大規模言語モデルの仕組み
　　3.1　Transformerの概要　　　3.1.1　Transformerの入出力　　　3.1.2　フォワードパスの構成要素　　　3.1.3　確率分布からトークンを選択する方法　　　3.1.4　トークンの並列処理とコンテキスト長　　　3.1.5　キャッシュを利用した生成の高速化　　　3.1.6　Transformerブロックの仕組み　　3.2　Transformerの発展　　　3.2.1　注意機構の効率化　　　3.2.2　Transformerブロック　　　3.2.3　位置埋め込み（RoPE）　　　3.2.4　自然言語処理以外でのTransformerの活用　　3.3　まとめ
第Ⅱ部　事前学習済み言語モデルの活用
　4章　テキスト分類
　　4.1　映画レビューの感情分析　　4.2　表現モデルを使ったテキスト分類　　4.3　モデルの選択　　4.4　タスク特化型モデルの使用　　4.5　埋め込みを活用した分類　　　4.5.1　教師あり分類　　　4.5.2　ラベル付きデータがない場合の処方箋　　4.6　生成モデルを使ったテキスト分類　　　4.6.1　T5を使った分類　　　4.6.2　ChatGPTのモデルを使った分類　　4.7　まとめ
　5章　テキストクラスタリングとトピックモデリング
　　5.1　arXivの「計算と言語」に関する論文　　5.2　テキストクラスタリングの一般的なパイプライン　　　5.2.1　文書を埋め込みに変換　　　5.2.2　埋め込みの次元削減　　　5.2.3　次元削減した埋め込みのクラスタリング　　　5.2.4　クラスターの内容を確認する　　5.3　テキストクラスタリングからトピックモデリングへ　　　5.3.1　BERTopic：モジュール型のトピックモデリングフレームワーク　　　　　BERTopicのモジュール性　　　5.3.2　特別なレゴブロックを追加する　　　5.3.3　テキスト生成のレゴブロック　　5.4　まとめ
　6章　プロンプトエンジニアリング
　　6.1　テキスト生成モデルの使い方　　　6.1.1　テキスト生成モデルの選択　　　6.1.2　テキスト生成モデルの読み込み　　　6.1.3　モデルの出力を制御する方法　　6.2　プロンプトエンジニアリング入門　　　6.2.1　プロンプトの基本要素　　　6.2.2　指示に基づくプロンプト　　6.3　高度なプロンプトエンジニアリング　　　6.3.1　プロンプトの潜在的な複雑さ　　　6.3.2　文脈内学習：例の提示　　　6.3.3　プロンプトの連鎖：問題の段階的な解決　　6.4　生成モデルによる推論　　　6.4.1　思考の連鎖：答える前に考える　　　6.4.2　自己整合性：サンプリング出力　　　6.4.3　思考の木：中間ステップの探索　　6.5　出力の検証　　　6.5.1　例示　　　6.5.2　文法：制約付きサンプリング　　6.6　まとめ
　7章　高度なテキスト生成のテクニックとツール
　　7.1　モデルの入出力：量子化されたモデルの読み込み　　7.2　チェイン：LLMの能力を拡張する　　　7.2.1　プロンプトテンプレート　　　7.2.2　複数のプロンプトを持つチェイン　　7.3　メモリ：会話履歴の保持　　　7.3.1　会話バッファー　　　7.3.2　ウィンドウ付き会話バッファー　　　7.3.3　会話の要約　　7.4　エージェント：LLMのシステムを構築する　　　7.4.1　エージェントを支える原動力：段階的な推論　　　7.4.2　LangChainでのReActを使ったエージェント構築　　7.5　まとめ
　8章　セマンティック検索とRAG
　　8.1　セマンティック検索とRAGの概要　　8.2　言語モデルによるセマンティック検索　　　8.2.1　密検索　　　8.2.2　リランキング　　　8.2.3　検索の評価指標　　8.3　検索拡張生成（RAG）　　　8.3.1　検索からRAGへ　　　8.3.2　LLMのAPIを用いたRAGの実装　　　8.3.3　ローカルモデルを用いたRAGの実装　　　8.3.4　高度なRAGのテクニック　　　8.3.5　RAGの評価　　8.4　まとめ
　9章　マルチモーダルな大規模言語モデル
　　9.1　Vision Transformer　　9.2　マルチモーダル埋め込みモデル　　　9.2.1　CLIP：テキストと画像をつなぐ仕組み　　　9.2.2　CLIPによるマルチモーダル埋め込みの生成方法　　　9.2.3　OpenCLIP　　　　　Sentence Transformersを用いたCLIPモデルの読み込み　　9.3　テキスト生成モデルのマルチモーダル化　　　9.3.1　BLIP-2：モダリティのギャップを埋める　　　9.3.2　マルチモーダル入力の前処理　　　9.3.3　ユースケース1：画像キャプション　　　9.3.4　ユースケース2：マルチモーダルな会話　　9.4　まとめ
第Ⅲ部　言語モデルの学習とファインチューニング
　10章　テキスト埋め込みモデルの作成
　　10.1　埋め込みモデル　　10.2　対照学習とは　　10.3　バイエンコーダー　　10.4　埋め込みモデルの作成　　　10.4.1　対照学習用のデータの生成　　　10.4.2　モデルの学習　　　10.4.3　詳細な評価　　　10.4.4　損失関数　　10.5　埋め込みモデルのファインチューニング　　　10.5.1　教師あり学習　　　10.5.2　Augmented SBERT　　10.6　教師なし学習　　　10.6.1　TSDAE　　　10.6.2　TSDAEを用いたドメイン適応　　10.7　まとめ
　11章　分類モデルのファインチューニング
　　11.1　教師あり分類　　　11.1.1　事前学習済みBERTのファインチューニング　　　11.1.2　層の凍結　　11.2　Few-shot分類　　　11.2.1　SetFit：少ないデータで効率的にファインチューニングする方法　　　11.2.2　Few-shot分類のためのファインチューニング　　11.3　マスク言語モデリングによる継続事前学習　　11.4　固有表現認識　　　11.4.1　固有表現認識のためのデータ準備　　　11.4.2　固有表現認識のファインチューニング　　11.5　まとめ
　12章　生成モデルのファインチューニング
　　12.1　LLMの3つの学習ステップ：事前学習、教師ありファインチューニング、選好チューニング　　12.2　教師ありファインチューニング　　　12.2.1　フルファインチューニング　　　12.2.2　パラメーター効率の良いファインチューニング　　12.3　QLoRAによる指示チューニング　　　12.3.1　指示データのテンプレート化　　　12.3.2　モデルの量子化　　　12.3.3　LoRAの設定　　　12.3.4　学習の設定　　　12.3.5　学習　　　12.3.6　重みのマージ　　12.4　生成モデルの評価　　　12.4.1　単語レベルの指標　　　12.4.2　ベンチマーク　　　12.4.3　リーダーボード　　　12.4.4　自動評価　　　12.4.5　人間による評価　　12.5　選好チューニング　　12.6　報酬モデルによる選好評価の自動化　　　12.6.1　報酬モデルの入出力　　　12.6.2　報酬モデルの学習　　　12.6.3　無報酬モデルの学習　　12.7　DPOによる選好チューニング　　　12.7.1　選好データのテンプレート化　　　12.7.2　モデルの量子化　　　12.7.3　学習の設定　　　12.7.4　学習　　12.8　まとめ
　あとがき
　著者紹介
　奥付

Content preview from 直感 LLM ―ハンズオンで動かして学ぶ大規模言語モデル入門

●著者紹介

Jay Alammar（ジェイ・アラマー）

Cohere社のディレクター兼エンジニアリングフェロー。大規模言語モデルをAPIとして提供する企業のCohere社で、企業や開発者コミュニティに対して言語モデルの使い方を教え、実際の業務に生かすための方法をアドバイスしている。人気のブロガーでもあり、「AI/MLブログ」（https://jalammar.github.io）を通じて、何百万人もの研究者やエンジニアに機械学習ツールや概念をわかりやすく説明してきた。ブログ記事の内容は、基本的な技術（NumPyやpandasのようなパッケージのドキュメントに反映されるもの）から、最新の技術（Transformers、BERT、GPT-3、Stable Diffusion）までさまざま。また、Deeplearning.aiやUdacityで提供される人気の機械学習および自然言語処理コースの共同開発者でもある。

Maarten Grootendorst（マルテン・グーテンダースト）

オランダがんセンター（IKNL）のシニア臨床データサイエンティスト。組織心理学、臨床心理学、データサイエンスの修士号を持ち、その知識を生かして複雑な機械学習の概念を幅広い聴衆にわかりやすく伝えることが得意。ブログ（https://newsletter.maartengrootendorst.com）も人気があり、心理学の観点からAIの基本を解説する内容で、数百万人の読者にリーチしている。また、BERTopic、PolyFuzz、KeyBERTなど、大規模言語モデルを活用したオープンソースパッケージの開発者兼メンテナーでもある。これらのパッケージは、世界中のデータ専門家や組織によって何百万回もダウンロードされている。 ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

初めてのTypeScript ―型安全なJavaScriptでWeb開発を加速する

Publisher Resources

ISBN: 9784814401154Publisher Website

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design

Business

Soft Skills