
2.6
評価尺度
43
ここでは、クレジットカード不正データセットに対する不正検出システムを構築しているこ
とを忘れないようにしよう。ここで言う機械学習モデルの性能は、データセット中のトラン
ザクションのうちから不正なものをモデルをうまく予測できるかどうかで定義される。
この機械学習モデルの出力は個々のトランザクションに対する予測確率で、不正は
1
、真正
は
0
となる。確率が
1
に近づくとそのトランザクションの不正らしさが高くなり、
0
に近くな
ると真正らしさが高くなる。モデルの出力する確率と実際のラベルを比較することで、モデ
ルの良さを知ることができる。
5
回の実行を通じて、訓練対数損失と交差検証対数損失はほぼ同じ値になっている。つまりロジス
ティック回帰モデルは、深刻な過剰適合を示していない。過剰適合した場合には、相対的に訓練対数
損失が小さくなり、交差検証対数損失が大きくなる。
5
つの交差検証セットに対する予測値を保持しておいたので、この予測値を
1
つにまとめることがで
きる。このセットは元の訓練セットと同じなので、訓練セット全体に対する対数損失を計算することが
できる。これが、このロジスティック回帰モデルがテストセットに対して示す対数損失の、最も良い推
定値となる。
Logistic Regression Log Loss: 0.10978811472134588
2.6
評価尺度
対数損失は、機械学習モデルの性能を推定する優れた方法ではあるが、もっと結果を直感的に理解
できる方法が欲しい。例えば、訓練セット中