Python数据处理

高级网页抓取：屏幕抓取器与爬虫

｜

283

什么是

延迟

？从网络角度来讲，这是数据从一个地点发送到另一个地点需要

的时间。往返延迟是从计算机发送请求到服务器，并且得到响应花费的时间。

延迟因为数据的传输而存在，有时数据需要传送几千千米，来完成请求。

当编写和规模化脚本时，考虑延迟是很好的。如果脚本所连接的站点托管在另一个国家，

你会经历网络延迟。因此你需要相应地调整超时时间，或者创建一个距离目标端点近的

服务器。如果想要添加超时时间到

Selenium

和

Ghost.py

脚本，你可以在抓取工作开始的

时候，直接添加到脚本中。对于

Selenium

，使用

set_page_load_timeout

（

http://selenium-

python.readthedocs.io/api.html#selenium.webdriver.remote.webdriver.WebDriver.set_page_

load_timeout

）方法，或使用隐式

/

显式的等待（

http://selenium-python.readthedocs.io/waits.

html

），这样浏览器会等待代码中特定的部分加载。对于

Ghost.py

，你可能需要传递

wait_

timeout

参数，像

Ghost

类文档中定义的那样（

http://ghost-py.readthedocs.io/en/latest/#ghost.

Ghost

）。

对于

Scrapy

，抓取器的异步特性和对特定的

URL

重试若干次的能力，让超时设置变成了

一个略微难办的问题。当然