
129
4-2:Chain-of-Verification パターン
1
2
3
4
5
6
4
リノイ州シカゴで生まれました。
- ドナルド・トランプはニューヨーク市生まれで、ニューヨー
ク州クイーンズで生まれました。
- ルドルフ・ジュリアーニはニューヨーク市生まれで、ニュー
ヨーク州ブルックリンで生まれました。
- マイケル・ブルームバーグはニューヨーク市生まれではな
く、マサチューセッツ州ボストンで生まれました。
したがって、正確な情報に基づいて最終回答を修正します。
最終回答:ニューヨーク市生まれの政治家を挙げます。
- ドナルド・トランプ
- ルドルフ・ジュリアーニ
以上の政治家はニューヨーク市で生まれました。
下線は検証質問によって元の回答が修正された箇所を示している。
最初の回答に含まれていた誤りが見事に訂正され、最終的に正しい回
答を得ることができた。
と言いたいところだが、ことはそう簡単ではなかったのも事実だ。
実際には、「ヒラリー・クリントンはニューヨーク市で生まれました。」
という誤った回答が執拗に繰り返され、上記のような完成度が高い出
力を得るまでには何度かの試行が必要だった。出力結果は試行ごとに
変わり、タスクの難易度によっては誤りを訂正しきれない場合もある
だろう。
ここではチェリーピッキング
*
のような結果を提示したものの、CoVe
パターンがどのようにして自動的に検証質問を生成し、それに基づい
て最終回答を導き出すのか、そしてそれがハルシネーションをどのよ