
探索性数据分析
|
9
据汇总和绘图中对离群值给出了一些惯例表示(参见
1.5.1
节),但是对离群值的准确定义
还是摆脱不了主观性。离群值本身并不一定是无效的或错误的数据(如上例中比尔
•
盖茨
的收入),但往往是由数据的错误所导致的,例如,混淆了数据的计量单位(混用了千米
与米),或是传感器的读数不准确。如果离群值是由不准确的数据导致的,这时使用均值
就会给出糟糕的位置估计,而使用中位数的估计则依然有效。无论是哪种情况,我们都应
找出离群值,而且它们通常也值得进一步研究。
异常检测
在普通的数据分析中,离群值有时富含信息,有时则令人头疼。而
异常检测
则不同,它所关注的就是离群值,而其余大部分数据则用于定义“正常”的
情况,即如何测定异常。
中位数并非唯一的稳健位置估计量。事实上,为了消除离群值的影响,也广泛地使用了切
尾均值。例如,除非数据集的规模很小,否则通常我们会将数据集的开头和结尾各舍弃
10%
,以使数据集免受离群值的影响。切尾均值可以看作一种在中位数和均值之间的折中
方案。它对数据集中的极值非常稳健,同时在计算位置估计量时使用了更多的数据。
其他稳健的位置估计量
统计学家还提出了很多其他的位置估计量,主要目的在于提供比均值更稳
健、更高效的估计量。其中更高效是指,能够更好地分辨数据集中的微小位
置差异。这些估计量通常适用于小规模的数据集,而对于大规模乃至中等规
模的数据集,它们并不能提供更多的帮助。
1.3.3
位置估计的例子
:
人口和谋杀率
表
1-2
显示了一个数据集的前几行数据,其中包含了美国各州的人口数量和谋杀率,单位 ...