
203
7
章
意思決定のための分析思考
I
:
良いモデルとは何か
基本コンセプト:
• データサイエンスの結果に求められることを深く考える主要な評価フレームワーク
• 期待値
• 適切で比較可能な評価基準の検討
代表的技法:
• さまざまな評価指標
• 損益推測
• 期待利益の計算
• 比較のための基準を作る手法
5
章の初めの部分で、
MegaTelCo
社の責任者であるあなたは、コンサルティングファーム
が示したモデルを評価しようとしました。オーバーフィッティングについてはさておき、そ
のときどのようにモデルの評価に取り組んだでしょうか。
データサイエンスを使うとき、それを意味あるものとするために重要なことは、データサ
イエンティストやその他の関係者がデータサイエンスで何を達成したいのか十分に考える、
ということです。これは一見当たり前のことのようですが、実に多くの場面でないがしろに
されています。データサイエンティスト自身や彼らとともに仕事をしている人たちは、(お
そらく無意識のうちにですが)データマイニングの結果を本来の目的に結び付けることを避
けていることがあります。これは、彼らがある統計量を報告するときになぜその統計量が正
しいのか正しく理解できていない、という形で現れることもあれば、どのようにすれば意味
のある方法でデータマイニングの効果を測定できるか理解できていない、という形で現れる
こともあります。
こうした批判はよく聞くべきです。多くの場合、最終的な目標を達成しているか完全に測
定することはできません。その理由は例えば、システムが不十分であったり ...