データサイエンスのための統計学入門 第2版 ―予測、分類、統計モデリング、統計的機械学習とR/Pythonプログラミング

12

■

1

章 探索的データ分析

異常検出

通常のデータ分析では、外れ値がときには重要な情報の手がかりともなるこ

ともあれば、邪魔な存在だけのこともある。対照的に、異常検出では外れ値

が主な対象である。データの大部分は、異常を測定するための基準となる「正

常」を定義するために用いられる。

中央値だけが、代表値の頑健な推定ではない。外れ値の影響を避けるためにトリム

平均が広く使われている。実際、少数のデータの場合を除いて、全データの上下

10 %

（通常の選択）を取り除いて、外れ値の影響を排除することが多い。トリム平均は、中

央値と平均値との間をとった考え方であるとも言える。データの極端な値に対して頑健

であり、代表値推定においてより多くのデータを使うからである。

別の頑健な位置の指標

統計学者は、平均値より頑健で、より効率的な（すなわち、データセット間

のわずかな差異に対しても分別可能な）推定量を得るという目的のために、

他の推定量を大量に開発してきた。これらの手法は小さなデータセットに役

立つことはあるが、大きな、あるいは普通のサイズのデータセットでは役立

たないことが多い。

1.3.3

 例：人口と殺人事件発生率の代表値の推定

表 1-2 は、米国の州別人口と殺人事件発生率（年間の人口

10

万 人 当 た り ）の デ ー タ セ ッ

トの先頭の数行を示す

＊

1

。

表 1-2　州別人口と殺人事件発生率のdata.frameの最初の数行

州 人口 殺人事件発生率 州の略称

1 Alabama 4,779,736 5.7 ...