
统计实验与显著性检验
|
91
在科学研究中,一些研究人员广泛地使用了卡方检验,以确定难以捉摸的统计显著性
p
值,进而使自己的研究成果适合发表。在数据科学的应用中,并不是将卡方检验或类似的
重抽样模拟作为正式的显著性检验,而是更多地将此类检验方法作为一种过滤器,用以确
定某个效应或特征是否值得进一步考虑。例如,此类方法可用于空间统计学和映射中,以
确定空间数据是否符合某个指定的零分布,例如集中在某一区域的犯罪率是否大于随机性
所允许的程度。此类方法还可以用于机器学习中的自动特征选择,通过判定各个特性的主
要类是否符合随机变异的范围,即是否存在过高或过低的问题,进而确定特性的主要类。
本节要点
•
统计学中一个常见的过程是检验观测情况与独立性假设是否一致,例如购买特定产
品的倾向是否与性别无关。
•
卡方分布是一种加入了独立性假设的参考分布。由观测情况计算得到的卡方统计量,
必须与卡方分布进行对比。
3.9.5
拓展阅读
• 20
世纪初,费舍尔提出了“女士品茶”(
Lady Tasting Tea
)这一著名的例子。时至今日,
该例子依然简单有效地展示了费舍尔精确检验。在网上搜索“女士品茶”,就能发现一
些很好的文章。
• Stat Trek
网站提供了一个很好的卡方检验教程。
3.10
多臂老虎机算法
多臂老虎机算法(
multi-arm bandit algorithm
)是一种检验方法,尤其适用于
Web
测试。相
比于传统的统计学实验设计方法,它实现了明显的优化,并且能更快地做出决策。
主要术语
多臂老虎机
一种假想的老虎机,提供多个拉杆供用户选择 ...