大数据项目管理：从规划到实现

104

｜

第

6

章



遍历

沿着任意一条线发现其他实体。可以从某个机架开始，找出在该机架上运行的应用程序。



汇总

对一组实体的状态或问题进行汇总。比如在上述示例中，可以追踪到关闭一个机架顶部

开关会导致多少应用程序中断，因为你知道这些应用程序与受影响机架之间的关系。

接下来，添加更多的实体：

• Kafka

主题；

•

数据库表；

•

查询（包括输入和输出）；

•

流处理操作；

•

源数据生成器。

我们的想法是：只要拥有足够多的实体，就可以了解有关数据的完整故事，比如数据是如

何进入系统的、存储数据的位置、如何使用数据、如何利用输出结果，等等。

6.1.3

　数据监管

在规划数据项目时，相关的监管问题变得越来越重要。其中有一些促成因素。



数据量

收集的数据量每年呈指数级增长。这当然也包括了个人数据。



安全性

随着对个人数据收集的增长，黑客攻击事件越来越多，这影响了数百万人。同时，庞大

的数据量赋予了数据更多价值，保护数据变得越来越困难，非法获取数据和滥用数据的

情况正在增多。



权力

数据能够给公司和政府带来的好处是显而易见的。现在的问题是：在数据收集和使用方

面，公司和政府应该获得多大的权力？随着此类问题变得越来越紧迫，对数据进行监管

和监督的呼声将会越来越高。

监管回应

有些监管机构已经开始对数据收集的负面影响做出回应。例如，欧盟通过的《通用数据保

护条例》（

GDPR

）要求公司必须制定适当的政策来应对以下问题。

掌握个人信息的权利

任何人都可以要求任意一家公司提供有关自身数据的详细信息。这对数据系统的影响可能