February 2025
Intermediate
376 pages
9h 25m
Japanese
Content preview from 仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
図7.1.5
7.1.6
RAGの実装
ここまでで、コンテキストに任意のテキストを追加する方法を学びました。ここでは、ユー
ザからの入力に関連する情報を動的に取得し、それをコンテキストに追加する方法を学びま
す。このようにして回答を生成する方法が、RAG（Retrieval Augmented Generation）で
す。
RAGでは、あらかじめ情報を登録したインデックスが必要です。インデックスは、プログ
ラムの実行前に作成しておくことを想定しています。インデックスに格納する情報の候補とし
ては、主にLLM の訓練データに含まれていない様々な情報が考えられます。例えば、最新の
情報や企業の内部データ、個人の固有情報などが挙げられます。
以降、本項ではインデックスの作成とインデックスを利用したチャットボットの実装方法を
順に説明します。ここでは、インデックスを事前にファイルシステム上に保存しておき、
チャットボットの実行時に読み込むようにします。
インデックスの作成
まずファイルシステム上にインデックスを作成します。ここでは、コマンドラインからイン
デックスを作成するプログラムを作成します。このプログラムの引数には、CSVファイルを
指定して、そのファイルからインデックスを作成します。
CSVファイルのロードには、LangChain が提供するクラスを利用します。LangChain は
CSV以外のローダも提供しているため、このプログラムを少し修正して、他の形式のファイ
ルからもインデックスを作成することも可能です。 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.