大数据项目管理：从规划到实现

116

｜

第

6

章

应对这一挑战的一种方法是创建自己的解决方案。当然，在实现和维护自定义解决方案时

会带来另外的挑战。更好的办法是尝试使用供应商提供的或第三方的解决方案。大多数企

业数据管理供应商的解决方案都会提供元数据定义、数据谱系追踪、数据审计等功能。这

些供应商在产品中提供了适当的解决方案，可以作为解决元数据管理问题的有力工具。寻

找跨产品的解决方案是一项更大的挑战，不过，一些数据集成供应商承诺提供“单一管理

平台”来管理跨系统的元数据。需要通过探索数据架构所依赖的供应商或项目的解决方案

（包括第三方解决方案）来制定有效的元数据管理方法。

6.5

　小结

在本章中，我们讨论了将元数据收集作为数据架构核心部分进行计划和实现的重要性。原

因有很多，包括监管方面的原因和系统可维护性方面的原因。成功的元数据策略有助于确

保系统的成功。一个成功的元数据策略应该包含以下内容。

•

确定需要进行元数据管理的数据集，包括静态数据（长期存储或短期存储）、处理管道

中的动态数据、源数据以及数据处理和分析。

•

定义不同数据集需要捕获的元数据。

•

捕获元数据的方法，包括声明式元数据收集和发现式元数据收集。

•

识别用于管理元数据收集的工具——供应商提供的或第三方的解决方案。

未能实现可靠的元数据策略可能会导致以下结果。

•

用户无法找到所需的数据。

•

数据进出系统的非标准机制。

•

有价值的数据闲置，因为甚至没有人知道它的存在。

•

潜在的法律或监管行为可能对公司造成损害。

我们还讨论了某些元数据类型的特殊情况，包括机器学习模型和敏感数据，如个人身份和 ...