
统计机器学习
|
195
机器学习与统计学
在预测建模的背景之下,机器学习与统计学之间的区别是什么呢?这两个领
域之间没有明确的界限,机器学习往往更加关注如何开发有效的算法来操纵
大量数据,以实现预测模型最优化,而统计学一般更注重概率相关的理论研
究以及模型的内在结构。装袋方法与随机森林(参见
6.3
节)主要是从统计
学发展而来的。而提升方法(参见
6.4
节)的发展与这两个领域都相关
,但
在机器学习领域得到了更多的重视。不考虑历史因素的话,提升方法的前景
就保证了它在统计学和机器学习这两个领域都会快速发展。
6.1
KNN
KNN
背后的思想非常简单。
1
对于每条要进行分类或预测的记录:
1.
找到与其具有类似特征(即类似的预测变量值)的
K
条记录;
2.
对于分类问题,确定这些类似记录中的多数类,并把这个类赋予新记录;
3.
对于
预测问题(也称为
KNN
回归
),算出这些类似记录的均值,并使用这个均值作为
对新记录的预测。
本节关键术语
近邻
与另一条记录具有相似预测变量值的记录。
距离度量
能归结为一个数值的测量,表示一条记录距离另一条记录有多远。
标准化
先减去均值,再除以标准差。
同义词
归一化
z
分数
标准化之后的值。
K
最近邻计算中使用的近邻数量。
KNN
是一种比较简单的预测和分类技术,它不需要像在回归中那样拟合模型。但这并不
意味着
KNN
可以作为一种自动化技术
,它的预测结果依赖于如何对特征进行缩放、如何
注
1
:
本章内容版权归属:
©
2020 Datastats, LLC, Peter Bruce, Andrew Bruce, and ...