データサイエンス設計マニュアル

9.7 ロジスティック分類の問題 271

9.7 ロジスティック分類の問題

ロジステ

ィック回帰でも、10 章と 11 章で取り上げる他の機械学習手法でも、優れた分類器を作るために

は考慮すべきことがいくつかある。クラスサイズの不均衡の管理、マルチクラス分類、独立した分類器を

使った正しい確率分布の構築などである。

9.7.1 バランスの取れた訓練データ

あらゆる国の行政機関が強い関心を持つはずの分類問題について考えてみよう。特定の人物 p のデータが

あるとき、その p がテロリストなのか、脅威にならない人なのかを判定したい。

最終的に分類器の正確度を左右するのは使用できるデータの品質だが、それは別としても、この問題には

非常に難しくなる要因がある。それは、母集団全体に含まれるテロリストの数が圧倒的に少ないことだ。

我々アメリカ国民は、一般に平和と安全保障を享受してきた。全国に散らばっているテロリストが 300 人

程度だと言われても意外には思わないだろう。人口が 3 億人もある国で 300 人ということは、現役のテロ

リストは 100 万人に 1 人しかいないということだ。

このようにバランスが崩れた分類では、2 つの大きな問題が起こる。1 つは、あらゆる分類器が大量の偽

陽性を生み出すことを避けられないことだ。99.999 % という聞いたこともないほど高い正確度を誇る分類

器でも、テロリストではない 3,000 人をテロリストに分類してしまう。これは、実際のテロリストの 10 倍

だ。7.4.1 節でも、適合率と再現率に関連して同じような問題を取り上げた。 ...