大数据项目管理：从规划到实现

企业元数据

｜

107



来源

数据的谱系，例如，数据是从源系统收集的还是由转换作业生成的。

6.2.2

　动态数据

我们已经讨论了静态数据的元数据，接下来介绍动态数据的元数据。在现代数据架构中，

可以通过多种方式摄取数据，来看看其中的一些方法。

1.

批次传输

在批次传输模式下会定时发送数据，然后将其以记录批次的形式存入系统中。批次传输的

常用方法是通过

FTP

、

SCP

或切换到对象存储。数据可以采用

CSV

、

JSON

、二进制等格

式进行传输，而且通常会被压缩，如图

6-2

所示。

数据源 暂存 目的地

图 6-2：批次数据传输

2.

流式传输或微批次传输

在采用流式传输或微批次传输时，数据会在系统中持续移动。物联网中的传感器数据

就是一个例子。通常，管道中的某个位置会存在某种形式的可扩展管道（例如消息队

列或

Kafka

），后面会有一个服务，对流式数据进行转换并将其摄取到目标位置，如图

6-3

所示。

数据源 管道 目的地

图 6-3：流式数据传输

3.

应用程序操作

在这个架构中，数据存储直接连接到应用程序，应用程序直接将数据写入这些数据存储。

不过，操作数据存储与分析数据存储相分离的情况变得越来越普遍。这意味着即使应用程

108

｜

第

6

章

序有一个操作数据存储，它也会使用批处理或流处理将数据推送到外部的分析数据存储。

这种工作流如图 ...