数据可观测性的基础知识

第 3 章 数据可观察性在数据组织中的作用 数据可观测性在数据组织中的作用

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

在上一章中，你了解了数据可观察性的定义，以及数据技术和团队如何拥抱数据可观察性。 在本章中，我将系统地介绍数据可观察性，分析它如何融入数据组织，如数据架构和文化。由于数据文化本身就是一个复杂的系统，因此我将分两部分进行阐述：

• 通过数据组织中数据工程角色的视角。

• 数据在经济（以及组织）发展中的作用。

数据架构

数据架构是数据组织的重要组成部分。它为数据如何为每个部门单独和协作提供价值奠定了基础。本节的目的不是定义理想的数据架构（如果有的话），而是回顾必须在哪些方面引入数据可观测性，以支持组织内数据使用的可持续管理。

在数据架构方面，并非所有组织都是平等的；有些组织已经有了既定的架构，预计将不断发展或被部分或全部取代，而有些组织则只是从白纸开始写起。因此，我将解释为什么在构建新架构时必须从一开始就考虑数据可观察性，以及尽管数据可观察性具有核心作用，但如何将其作为现有数据架构的附加部分。

数据可观察性在数据架构中的位置？

为了解决数据可观测性在数据架构中的位置问题，我必须把数据可观测性分成两部分：数据可观测系统和数据可观测平台。这是为了尊重架构的基本原则：关注点分离。

数据可观测系统

数据可观测系统与数据可观测性作为数据应用的一个要素的参与有关。正如我们在前几章中所回顾的，数据可观测性是一种可以从数据应用中引入的能力，它可以生成整个数据可观测性核心模型。

因此，数据可观测性首先包含在数据架构的应用层中，如图 3-1 所示。

图 3-1. 包括数据可观测应用在内的数据架构

在这一层中，必须考虑两种不同的情况：数据工具、框架和库部分或（尚未）具备数据可观测性时，以及数据工具、框架和库本身具备数据可观测性时。

当支持创建数据应用程序的组件不完全是数据可观测组件时，根据工具和架构的不同，必须在一个或两个地方添加额外的组件。图 3-1 中的标签 1 和 2 代表了这些地方。应用程序上的标签 1 代表我将在第 4 章讨论的数据可观察性功能的引入。标签 2 是工具通过附加工件（如代理）进行扩展的地方，默认情况下，使用这些工具构建的所有数据应用都会生成数据观测结果，这一点我将在第 5 章中讨论。

不过，在未来，所有工具和库都将通过设计或原生方式实现数据可观测，这意味着所有数据应用程序都将默认为数据可观测，因此这将是理所当然的。因此，为了避免架构图过于臃肿，并加快新架构的定义，我并不表示那些微不足道的东西。

不过，与此同时，我还必须考虑那些传统的或过于封闭（黑箱）的工具，它们不给我们应用第 4 章和第 5 章中介绍的实践的机会。对于这些工具，我在数据可观测系统中保留了一席之地，它的一只脚在数据层，另一只脚在数据可观测平台。第 6 章将详细介绍这个特殊但临时的案例。

数据可观测性平台

如图 3-1所示，所有应用都可以通过本机或适当的扩展实现数据可观测性，这些扩展将在接下来的章节中介绍。数据可观测性平台是一个系统，用于汇聚和观测由互联数据应用生成的数据观测结果。

每个应用程序生成的数据观测结果都有可能应对第 1 章中强调的挑战。这些挑战包括需要一个能够在扩展环境中检测数据问题的系统，简化识别和解决根本原因的过程，并主动预测问题的再次发生。通过利用数据观测的力量，我们可以开发出有效应对这些挑战的解决方案，确保数据生态系统更加稳健、更具弹性。 ...