Python语言及其应用（第2版）

工作中的

Python

｜

397

21.3

处理企业数据

企业尤其喜爱数据。可悲的是，许多企业想出的方法往往适得其反，使得数据更难以使用。

电子表格是一项很好的发明，随着时间的推移，企业对其欲罢不能。许多非程序员被骗去

编程，他们写出的东西被称为

宏

而不是程序。但宇宙在不断膨胀，数据也不甘落后。旧版

本的

Excel

被限制为

65 536

行

，就算是新版本，大概也就在

100

万行左右。当机构的数据

超出单台计算机的极限时，这就像员工人数增加过百一样，你需要新的层级结构、新的媒

介以及新的通信方式。

过多的数据程序不是由单机数据量造成的，相反，这是大量数据涌入企业的结果。关系数

据库可以处理数百万行也不崩溃，但一次只能处理这么多的写入或更新。古老的纯文本文

件或二进制文件可能会增加数千兆字节的大小，但是如果你要作一次性处理，则需要配备

足够的内存。传统的桌面软件并不是为此设计的。谷歌和亚马逊等公司不得不想办法来处

理如此规模的数据。

Netflix

就是建立在亚马逊的

AW

S

云之上的一个例子，它使用

Python

将

RESTful

API

、安全性、部署和数据库粘合在一起。

21.3.1

提取

、

转换和装载

数据冰山的水下部分包括获取数据的所有工作。在企业中，常用的术语是提取、转换、装

载（

extract

，

transform

，

load

）

，也就是所谓的

ETL

。它的同义词，比如

数据转换

（

data

munging

）或

数据整理

（

data

wrangling

），给人的印象是驯服一头不羁的野兽，这个比喻还

算恰当。目前看来，这是一个已解决的工程问题，但在很大程度上仍旧是一门艺术。第 ...