Python文本分析

网页抓取与数据提取

｜

83

# get the part after the last / in URL and use as filename

file = url.split("/")[-1]

r = s.get(url)

if r.ok:

with open(file, "w+b") as f:

f.write(r.text.encode('utf-8'))

else:

print("error with URL %s" % url)

输出结果：

CPU times: user 117 ms, sys: 7.71 ms, total: 124 ms

Wall time: 314 ms

根据互联网的连接状况，上述代码可能需要更长的时间才能运行完成，但是应该很

快。我们利用会话抽象实现了

HTTP

持续连接、

SSL

会话缓存等，以最大化运行速度。

下载

URL

时使用适当的错误处理

在下载

URL

的时候，你需要使用网络协议与远程服务器通信。这期间

可能会发生各种各样的错误，比如

URL

变化，服务器不响应等。上述

示例仅展示了一个错误信息，然而，在现实世界中，你的解决方案应该

会更复杂。

3.10

案例：利用

wget

下载

HTML

页面

当需要大量下载页面时，

wget

（

https://oreil.ly/wget

）是一个非常好的工具，

这是一款几乎适用所有平台的常用命令行工具。

Linux

和

macOS

都应该

安装了

wget

，你也可以通过包管理器轻松完成安装。对于

Windows ...