直感 LLM ―ハンズオンで動かして学ぶ大規模言語モデル入門

6章プロンプトエンジニアリング

本書の1章では、大規模言語モデルの基本を学びました。これまでの章で、分類やクラスタリングといったさまざまなアプリケーションを紹介し、BERTやその派生モデルのようなテキストを表現することに特化したモデルを使用してきました。

また、主にテキスト生成に特化したGPTと呼ばれるモデルも使いました。これらのモデルは、ユーザーから与えられたプロンプトに応じて、テキストを生成することに秀でています。さらに、プロンプトエンジニアリングを通じてプロンプトを設計することで、生成されるテキストの品質を向上させることができます。

本章では、生成モデルについてさらに詳しく学び、プロンプトエンジニアリングや生成モデルによる推論、モデルの出力を検証する方法、さらにはその出力をどう評価するかについても理解を深めていきます。

6.1　テキスト生成モデルの使い方

プロンプトエンジニアリングを学ぶ前に、まずはテキスト生成モデルの基本的な使い方を理解しましょう。たとえば、どのモデルを選ぶか、商用モデルとオープンモデルのどちらを使うか、そして生成される出力をどのように制御するかといったことを考える必要があります。これらを押さえることで、テキスト生成モデルを活用するための基礎が身につきます。

6.1.1　テキスト生成モデルの選択

テキスト生成モデルを選ぶ際は、まず商用モデルとオープンモデルのどちらを利用するかを決めるところから始めます。商用モデルは一般的に性能が高い一方、オープンモデルは柔軟性が高く自由に使えます。本書では、オープンモデルに焦点を当てて解説します。

よく使用される基盤モデルの一部を図6-1に示します。これらのモデルは膨大なテキストデータで事前学習されており、特定の用途に応じたファインチューニングも可能です。 ...