戦略的データサイエンス入門 ―ビジネスに活かすコンセプトとテクニック

248

8 章　モデル性能の可視化

k-

近傍の行列は、滅多に「乗り換え」と予測しないことがわかります。

Y

行がほとんど空

だからです。言い換えれば、約

93%

の精度を持つベースレート分類器と非常によく似ている

ということです。一方、単純ベイズ分類器は、より多くのミスをして精度が低いです。しか

し、より多くの「乗り換える顧客」を識別しています。図

8-9

は、典型的な分割で交差検証

を行ったときの

ROC

曲線を示しています。単純ベイズ（

NB

）と分類木（木）に対応する曲

線が、他よりもやや「弓なり」であることに注目してください。これは、予測の優位性を示

しています。

既に説明したように、

ROC

曲線で比較する方法には、素晴らしい利点があります。しか

し、見る人によっては、読み解くことが難しくなります。「弓なり」の度合と、別の曲線と

の相対的な優位性を、目で見て判断することは困難です。リフト曲線と利益曲線は、この点

で有効な場合があります。試してみましょう。

リフト曲線には、全く苦労せず試せる、という利点があります。このため、まずはリフト

曲線から試してみます。結果を図

8-10

に示します。

これらの曲線は、

10

個のテストデータで交差検証を行った結果の平均値です。一般的に、

分類器のピーク性能は非常に早い段階で現れ、その後ランダム性能と同じ上昇値

=1

へ向かっ

て下降していきます。分類木と単純ベイズの両方が非常に良い性能を示しています。分類木

（グラフ中の

Tree

）は、対象となるインスタンスの割合が上位

25%

になるまでは、最も優

れた性能を示しています。それ以降は、 ...