第16章　网络爬虫——从网站中提取有用的数据

本章我们将学习网络爬虫，其中包括学习Python中的BeautifulSoup库，它用于从网站中提取数据。

本章将介绍以下主题。

  • 什么是网络爬虫。
  • 数据提取。
  • 从维基百科网站提取信息。

网络爬虫是指从网站提取数据的技术，该技术可以将非结构化数据转换为结构化数据。

网络爬虫的用途是从网站提取数据，提取的数据可以存储到本地文件并保存在系统中，也可以将其以表格的形式存储到数据库中。网络爬虫使用HTTP或Web浏览器直接访问万维网（WWW）。网络爬虫或机器人抓取网页的过程是一个自动化流程。

抓取网页的过程分为获取网页、提取数据。Web抓取程序可以获取网页，它是网络爬虫的必需组件。在获取网页后，就需要提取网页数据了。我们可以搜索、解析，并将提取的数据保存到表格中，然后重新整理格式。

本节我们学习数据提取。我们可以使用Python的BeautifulSoup库进行数据提取。这里还需要用到Python库的Requests模块。

运行以下命令以安装Requests和BeautifulSoup库。

$ pip3 install requests
$ pip3 install beautifulsoup4

使用Requests库可以易懂的格式在Python脚本中使用HTTP，这里使用Python中的Requests库获取网页。Requests库包含不同类型的请求，这里使用GET请求。GET请求用于从Web服务器获取信息，使用GET请求可以获取指定网页的HTML内容。每个请求都对应一个状态码，状态码从服务器返回，这些状态码为我们提供了对应请求执行结果的相关信息。以下是部分状态码。 ...

Get 写给系统管理员的Python脚本编程指南 now with the O’Reilly learning platform.

O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.

Start your free trial