基于scikit-learn和PyTorch的实践机器学习

第 1 章. 机器学习领域

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

不久前，如果你拿起手机让它告诉你回家的路，它可能会不理你，人们也会怀疑你的理智。但机器学习已不再是科幻小说：每天都有数十亿人在使用它。事实上，它在一些专业应用领域已经存在了几十年，例如光学字符识别（OCR） 。早在 20 世纪 90 年代，第一个真正成为主流、改善了数亿人生活的 ML 应用程序--垃圾邮件过滤器--就悄然占领了世界。虽然它并不是一个具有自我意识的机器人，但从技术上讲，它确实符合机器学习的要求：实际上，它的学习能力非常强，以至于你很少再需要将一封邮件标记为垃圾邮件。随后，得益于大数据、硬件改进和一些算法创新，数百种 ML 应用接踵而至，现在已悄然为你经常使用的数百种产品和功能提供了支持：语音提示、自动翻译、图片搜索、产品推荐等等。最后，ChatGPT、Gemini（前身为 Bard）、Claude、Perplexity 和许多其他聊天机器人也相继问世：人工智能不再只是后台服务的动力，它本身就是服务。

机器学习从哪里开始，又在哪里结束？机器学习到底意味着什么？如果我下载了维基百科的所有文章，我的电脑真的学到了什么吗？它是否突然变聪明了？在本章中，我将首先阐明什么是机器学习，以及为什么要使用机器学习。

然后，在开始探索机器学习大陆之前，我们将先看一下地图，了解主要区域和最显著的地标：监督学习与非监督学习及其变体、在线学习与批量学习、基于实例的学习与基于模型的学习。然后，我们将了解典型 ML 项目的工作流程，讨论可能面临的主要挑战，并介绍如何评估和微调机器学习系统。

本章介绍了每个数据科学家都应熟知的大量基本概念（和行话）。这将是一个高层次的概述（这是唯一一章没有太多代码的章节），所有内容都相当简单，但我的目标是确保在我们继续阅读本书的其余部分之前，所有内容都清晰明了。拿起咖啡，我们开始吧！

小贴士

如果你已经熟悉机器学习基础知识，可以直接跳到第 2 章。如果还不确定，请尝试回答本章末尾列出的所有问题，然后再继续学习。

什么是机器学习？

机器 learning 是对计算机进行编程，使其能够从数据中学习的科学（和艺术）。

下面是一个稍显宽泛的定义：

[机器学习是]一个研究领域，它赋予计算机在没有明确编程的情况下进行学习的能力。

阿瑟-塞缪尔，1959 年

还有一个更面向工程的定义：

如果一个计算机程序在某些任务T和某些性能指标P 上的性能（以P 衡量）随着经验E的增加而提高，那么就可以说它从经验E 中学习了。

汤姆-米切尔，1997 年

您的垃圾邮件过滤器是一个机器学习程序，在给定垃圾邮件（由用户标记）和普通邮件（非垃圾邮件，也称为 "火腿肠"）的示例后，它可以学习标记垃圾邮件。系统用于学习的示例称为训练集 。每个训练示例称为训练实例 （或样本）。机器学习系统中进行学习和预测的部分称为模型。神经网络和随机森林就是模型的例子。

在本例中，任务T是标记新邮件中的垃圾邮件，经验E是训练数据，需要定义性能指标P；例如，可以使用正确分类邮件的比率。这种特殊的性能指标被称为准确率 ，常用于分类任务中（我们将在第 3 章讨论其他几种性能指标）。

如果你只是下载了一份维基百科的所有文章，那么你的计算机就会拥有更多的数据，但它并不会在任何任务中突然变得更好。这不是机器学习。

为什么要使用机器学习？

考虑一下如何使用传统编程技术编写垃圾邮件过滤器（图 1-1）：

1. 首先，您要检查垃圾邮件通常是什么样的。您可能会注意到，一些单词或短语（如 ...