生成AIのプロンプトエンジニアリング ―信頼できる生成AIの出力を得るための普遍的な入力の原則

5章FaissとPineconeによるベクトルデータベース

　この章では、埋め込みとベクトルデータベースの概念を紹介し、それらがどのようにしてプロンプトに関連するコンテキストを提供するために使用できるかを説明します。

　ベクトルデータベースは、テキストデータを保存するために、最も一般的に使用されるツールで、類似性もしくは意味合いに基づいたクエリーの実行、つまり類似検索を可能にします。この技術は、生成AIのモデルが学習していないデータを参照することにより、ハルシネーション（生成AIのモデルがもっともらしい嘘を作り上げること）の発生を抑制し、生成AIのモデルの応答の精度と質を大幅に向上させます。ベクトルデータベースの活用例には、ドキュメントの読み取り、類似製品のレコメンド、過去の会話の保持なども含まれます。

　ベクトルとは、テキスト（または画像）を表す数値のリストであり、位置を示す座標のようなものと考えればよいでしょう。例えば、OpenAIのtext-embedding-ada-002という埋め込みモデル（テキストを数値ベクトルに変換するためのモデル）において「mouse」という単語を表すベクトルは、以下のような1,536個の数値のリストであり、これらの数値は埋め込みモデルが学習した特徴量を表しています。

[-0.011904156766831875,
-0.0323905423283577,
0.001950666424818337,
...]

　このようなモデルが学習する際、学習データ内で一緒に出現するテキストのベクトルは近くに配置され、無関係なテキストのベクトルは遠くに配置されます。例えば、すべてのものをCartoon（カートゥーン※1）とHygiene（衛生）の2つのパラメーターのみで表現する単純なモデルを訓練したとします。 ...