
40
|
第
2
章
假设有人说他能做到抛硬币连续十次正面向上。我们想要挑战他,这就相当于做一次实
验。如果他继续抛十次硬币,依然连续正面向上,显然这只能归因于他具有某种特异功
能,因为抛硬币连续十次正面向上的概率大约是千分之一。
现在,假设在一个体育场中有两万名观众,我们通过播音员要求全体两万人一起抛十次硬
币。如果有人做到了连续十次正面向上,就站出来。我们会看到,整个体育场中很可能
有
人
会做到连续十次正面向上。这一事件的概率非常高,甚至会高于
99%
,即
1
减去没有人
得到十次正面向上的概率。显然,我们事后从所有人中选取能做到十次正面向上的人,并
不意味着他们具有任何特异功能,这更像是运气使然。
反复地查看大规模数据集是数据科学中的一个关键价值主张,所以我们需要关注选择偏差
问题。数据科学家特别关注的一种选择偏差形式,就是被约翰
•
埃德(
John Elder
)称为
大规模搜索效应
的问题。约翰
•
埃德是美国
Elder
研究机构的创始人,该机构是一家广受
关注的数据挖掘咨询公司。如果在大规模数据集上反复运行不同的模型,并提出不同的问
题,我们肯定能发现一些有意思的现象。但是我们所发现的结果是否的确具有意义?还是
仅是一些离群值?
为了避免这一问题,我们可以使用验证集(
holdout set
)去验证结果的性能,有时可能需
要多个验证集。埃德倡议使用一种被称为
目标混洗
(
target shuffle
)的方法。该方法在本质
上就是一种置换检验,验证由数据挖掘模型所预测的关联关系的合法性。
在统计学中,除了大规模搜索效应之外,选择偏差的典型形式还包括 ...