戦略的データサイエンス入門 ―ビジネスに活かすコンセプトとテクニック

229

8

章

モデル性能の可視化

基本コンセプト：

• さまざまな不確実性のもとでのモデル性能の可視化

• データマイニングの結果に求められるものについてのさらなる考察

代表的技法：

• 利益曲線

• 累積反応曲線

• リフト曲線

• ROC 曲線

7

章で

は、モデル評価における基本的な問題を紹介し、何が良質なモデルを生み出すのか、

という問いへの解答を模索しました。そして、期待値フレームワークに基づいて詳細な計算

方法を考えました。前の章は、それ以前の章よりもはるかに数学的でした。あのような内容

を読むのが初めての方は、紹介した方程式に少し圧倒されたかもしれません。あれらの方程

式は、次の値を導き出すことはできますが、あまり直感的ではありません。この章では、方

程式が解き明かしていることをより理解するために、別の視点から見てみることにします。

式

7-2

の期待値計算式は、特定の条件において

1

つの値を算出し、そのシナリオで期待さ

れる利益を表します。データサイエンスチーム以外の関係者は、詳細については少し難しい

と感じるかもしれません。このため、より概念的なレベルで理解でき、そして、より直感的

に見て理解できるモデル性能の説明を求めたくなるでしょう。方程式やつまらない計算に慣

れているデータサイエンティストでさえ、式から導き出される

1

つの推定値だけでは貧弱で

あり、情報量が少ないと考えることがあります。なぜなら、それらの式は非常に厳しい仮定

（コストと利益を正確に把握しているという前提、モデルによる確率の推定値が正確である ...