Flink基础教程

流处理架构

｜

19

文件

数据库

消息传输层 流处理层

图 2-1：Flink 项目的架构有两个主要组成部分：消息传输层和由 Flink 提供的流处

理层。消息传输层负责传输连续事件产生的消息，能够提供消息传输的系统包括

Kafka 和 MapR Streams。MapR Streams 是 MapR 融合数据平台的一个主要组成

部分，它兼容 Kafka API

围绕着实时应用程序产生的兴奋感会将人们的注意力集中到流处理层上，

并促使人们思考如何根据具体的项目需求选择流处理技术。除了

Flink

之外，还有其他的流处理工具可供选择（比如

Spark Streaming

、

Storm

、

Samza

和

Apex

）。本书中的示例都以

Flink

作为流处理器。

事实上，在设计高效的流处理架构时，不仅流处理器的选择会造成架构的

巨大差异，消息传输层也很关键。现代系统之所以更容易处理大规模的流

数据，其中很大一部分原因就是消息传输方式的改进，以及流处理器与消

息传输系统的交互方式的改变。

消息传输层需要具备一些特定的功能。目前来看，有两种技术可以很好

地提供所需的功能，它们便是

Kafka

和

MapR Streams

。

MapR Streams

是

MapR

融合数据平台的一部分，它支持

Kafka API

。本书中的示例都假设消

息传输层采用

Kafka

或

MapR Streams

。

2.3

　消息传输层的理想功能

流处理架构的消息传输层需要具备哪些功能呢？