大数据项目管理：从规划到实现

数据项目的主要类型及考虑因素

｜

9



访问控制

谁可以访问数据流之外的持久化数据。



捕获元数据

通过字段添加元数据。

在更高级的系统中，你还可以找到下面这些额外的功能。



转换逻辑

在数据进入暂存区域之前，对数据进行自定义转换。



聚合和会话

知道如何基于数据窗口执行操作的转换逻辑。

治理问题

随着需要收集、存储和分析的数据越来越多，对数据保护和隐私等问题的关注也在日益增

长。因此，你需要制定计划以响应数据治理法规，并防止外部攻击、内部滥用等行为。你

需要确保对所收集的数据有清晰的了解和归类。第

6

章将继续探讨这个话题。

5.

延迟和传递确认

与实时系统不同，数据管道在延迟和传递确认方面通常有很大的回旋余地。不过，在你确

定系统期望时，数据管道的延迟和传递确认是非常重要的两个方面。接下来让我们定义这

两个术语，并看看需要为此做些什么。

延迟

延迟是指从数据源发布信息开始，直到给定处理层或暂存系统能够访问到信息所花费的时

间。为了更好地说明这一点，我们使用流处理应用程序作为示例。假设数据通过

Kafka

传

入，然后由

Flink

或

Spark Streaming

消费。应用程序可能会根据处理结果向下游系统发送

警报。我们可以将延迟量化为多个部分，如图

1-1

所示。

数据源 下游系统

流处理应用程序

触发器

Kafka Kafka

A B C D

图 1-1：量化系统延迟

让我们来仔细看看每个部分。

• A

：数据从源头到

Kafka

所花费的时间。这段时间就是我们所说的用于缓冲和网络传输

的时间。但可能存在一种扇入式架构，其中包括负载均衡器、微服务或其他可能导致延 ...