数据管道速查手册

第 10 章. 测量和监控管道性能

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

即使是最精心设计的数据管道也不是 "设置好就可以不用管 "的。测量和监控管道性能的做法至关重要。在管道可靠性方面，您有责任为团队和利益相关者设定期望值，并不辜负他们的期望。

本章概述了数据团队在收集数据和衡量工作绩效方面的一些技巧和最佳实践。

主要管道指标

在确定您需要在整个管道中捕获哪些数据之前，您必须首先确定要跟踪哪些指标。

选择衡量标准时，首先应确定什么对您和您的利益相关者至关重要。以下是一些例子：

• 运行了多少次验证测试（见第 8 章），通过测试的比例是多少？

• 特定 DAG 成功运行的频率

• 管道在周、月、年期间的总运行时间

要跟踪多少个指标？

谨防常见陷阱：查看过多指标！依赖单一指标来说明管道性能和可靠性的全部情况是危险的，同样，过多的指标也会让人难以专注于最重要的事情。我建议最多选择两到三个指标作为重点。同样重要的是，要确保每个指标都有独特的目的，而不是在衡量内容上相互重叠。

好消息是，收集计算此类指标所需的数据指日可待。正如你将在接下来的章节中看到的，可以直接从本书前面构建的基础架构中获取这些数据；特别是，请参阅 Airflow（第 7 章）和数据验证框架（第 8 章）。

准备数据仓库

在监控和报告管道性能之前，您当然必须捕获测量所需的数据。 值得庆幸的是，作为一名数据专家，您眼前就有这样做的工具！数据仓库是存储数据管道中每个步骤的日志数据的最佳场所。

在本节中，我将定义用于存储 Airflow 数据的表格结构以及第 8 章中定义的数据验证框架。这些数据稍后将用于制定衡量管道性能所必需的指标。

我想指出的是，您可能还想跟踪和报告许多其他数据点。我喜欢这两个示例，因为它们涵盖了基础知识，并能启发您针对数据基础设施进行其他跟踪和测量。

数据基础设施模式

首先，您需要一个表来 存储来自 Airflow 的 DAG 运行历史。回顾第 7 章，Airflow 用于执行数据管道中的每个步骤。它还保存每个 DAG 运行的历史记录。 在提取数据之前，需要一个表来加载这些数据。下面是一个名为dag_run_history 的表的定义。该表应在数据仓库中创建，无论在数据导入过程中将数据加载到哪个模式中：

CREATE TABLE dag_run_history (
  id int,
  dag_id varchar(250),
  execution_date timestamp with time zone,
  state varchar(250),
  run_id varchar(250),
  external_trigger boolean,
  end_date timestamp with time zone,
  start_date timestamp with time zone
);

除了报告 DAG 的性能外，深入了解数据的有效性也很重要。在第 8 章中，我定义了一个基于 Python 的简单数据验证框架。 在本章中，我将对其进行扩展，以便将每次验证测试的结果记录到数据仓库中。下面这个名为validation_run_history 的表将是验证测试结果的目的地。我建议在数据仓库的同一模式中创建该表，在加载时，输入的数据也会在该模式中显示：

CREATE TABLE validation_run_history (
  script_1 varchar(255),
  script_2 varchar ...