AI時代の質問力 プロンプトリテラシー 「問い」と「指示」が生成AIの可能性を最大限に引き出す

174

第5章：発展的な技術

事前学習の限界

事前学習を経た言語モデルは内部に膨大な知識や推論規則を蓄えて

いる。ゼロショット学習でも見たように、何も追加の改良を施さなく

ても、大規模言語モデルはプロンプトひとつで人間に近い極めて高度

な応答を生成することができる。しかし、以下に挙げるような、事前

学習に用いた訓練データの中には存在しなかった知識については無力

だ。

●

極めて専門性が高い知識：希少な遺伝疾患の治療法や先進的な材

料科学、未解決の数学問題、特殊な法解釈など。

●

秘匿性が高い知識：特定の企業の顧客データやマーケティング戦

略、政府の機密情報、科学研究の未公開データや特許出願中の発

明、患者の病歴など。

●

リアルタイムで生成される知識：株価や為替レートといった金融

市場のデータ、世界情勢、道路の混雑状況や事故による規制など

5-3

RAG（検索拡張生成）

175

5-3：RAG（検索拡張生成）

1

2

3

4

5

6

5

の交通データ、ソーシャルメディア上のトレンド、天気予報な

ど。

これらの知識は追加学習で新たに獲得することも可能だが、知識が

更新されるたびにモデルを再学習するには、学習データの整備が大変

であり、膨大な計算資源が必要になる。また、ReActパターンで見た

ように、モデルを検索エンジンと組み合わせることで高いリアルタイ ...