数据驱动力：企业数据分析实战

34

｜

第

3

章

美国人口

普查局

推荐给朋友

订单号16478645

地址

Belinda

Smith

图 3-1：用一系列数据源给 Belinda 的订单添加丰富场景

对数据分析师或数据科学家来说，深入挖掘档案和背景能获得大量原始数据。你可以清楚

地了解她的过往和人口统计学信息。在这个案例中，你甚至还可以清楚地了解到她目前的

动机。你可以对其他用户做这样的分析，即便只将其中一些分析步骤自动化，也能取得很

大的战略优势。

相对于仅利用割裂的数据，关联数据能够产生巨大价值，这可以辅助你决定后续将哪个数

据集引入组织（同时不侵犯他人隐私，也不违背伦理）以及如何关联这些数据。

3.4

　数据收集

在考虑过收集什么数据之后，下面简单思考收集数据的方式。

对于很多数据源，只需采用

系统的

方法，将该数据源（或其子集）中可获取的数据全量积

数据收集

｜

35

累即可。使用数据源的方式有很多。你可以使用

API

、通过

FTP

传输文件，或通过抓取屏

幕获取想要的信息。如果这只是一次性的转储行为，你就已经大功告成了；但是如果会频

繁地更新或添加数据，而且数据流会一直持续的话，你就必须确定如何使用这些数据。对

于小型文件或表格，直接删除原有表格，并用当前更大的数据集替代会相对简单。所谓的

“小”数据集，在我们的团队里是指不多于

10

万行

的表格。但是对于更大的数据源 ...