大数据项目管理：从规划到实现

企业元数据

｜

111



识别恶意活动

当你拥有数百万个数据源时（例如在物联网场景中），可能会有人想攻击你的系统。了解

数据源有助于想出解决方案来识别这些不良分子，并将它们与真实的数据源分开处理。



了解关系

假设你正在监控硬件和查看故障影响。在这个时候，需要知道服务器与机架和交换机之

间的关系元数据以及位置元数据。这也适用于物联网场景，比如在汽车、飞机等大型系

统中，从多个传感器获取输入。

6.2.4

　有关数据处理的元数据

系统中的数据处理操作各式各样，从简单的

SQL

查询到高级的

Apache Spark

作业、机器

学习，等等。此外，由于处理技术的多样性，很难知道哪些元数据正在使用以及用于什么

目的。至少需要确保得到了基本的信息，从而为构建系统奠定基础。



访问

谁在访问特定的数据？



频率

访问数据的频率是怎样的？



输出

数据是发送到系统之外还是发送到系统中的另一个数据表中？



使用的技术

一些技术会留下清晰的审计线索，例如

SQL

，但其他技术可能很难追踪，例如

Apache

Spark

作业。

Spark

作业的逻辑隐藏在

Java/Scala/Python

代码中，很难用审计工具来解释。

请注意，捕获这些元数据对于生成实际、可操作输出结果的生产作业来说更为重要。一方

面，对于那些用于测试、研究等场景的作业，需要确定元数据的合理捕获量。另一方面，

GDPR

等法规不区分生产环境和开发环境，因此在规划时需要牢记这一点。

对于生产作业，可以考虑提供源代码的访问权限。例如，把代码放在公司的

GitHub

仓库

中，这样就可以对代码进行评审。 ...