大数据项目管理：从规划到实现

数据项目的风险管理

｜

53

缩比。在本例中，低熵使得执行引擎的压缩编解码器更快地读取数据和写入数据，并且更

快地通过网络发送数据。

因此，当团队开始使用真实数据进行测试时，他们惊讶地发现作业的运行速度比初始测试

时要慢得多，而且资源占用率也很高。

从这个例子中可以学到以下几点：

•

尽早并频繁地测试；

•

仔细记录测试的内容；

•

记录测试数据与真实数据之间的差距；

•

让测试尽可能反映生产环境的情况；

•

对任何度量指标都持半信半疑的态度；

•

始终假设得到的测试结果好得有点不真实；

•

让不止一组人来评审测试流程、基准测试，等等。

在向项目以外的人传达测试结果时，需要考虑到以上所有事项。你很难向他们解释为什么

今天的处理速度会是昨天的十分之一——如果试图在事后解释测试结果之间的差距，人们

一般很难认为这是情有可原的事情。

3.7

　监控和警报

本章已经花了大量篇幅介绍如何规划和管理架构中的风险，接下来谈谈在部署阶段如何管

理风险。需要找到一种方法来指定和跟踪指标，以确保系统在部署后能够按照预期的方式

运行。为此，我们为架构中的每个组件都定义了关键绩效指标（

key performance indicator

，

KPI

）。每个系统的

KPI

应该会有所不同，但一般来说，至少需要

3

个

KPI

。《

SRE

：

Google

运维解密》一书对这

3

个

KPI

给出了定义。



吞吐量

吞吐量可以告诉我们系统正在做什么以及可以做到什么程度。



延迟

系统执行给定的操作所需的时间。



错误率

给定的操作发生了多少错误。

如何定义

KPI

和构建监控系统已经超出了本书的范围，但有很多参考资料（例如前面提到 ...