Flink基础教程

批处理：一种特殊的流处理

｜

75

val counts = visits

.groupBy("region")

.sum("visits")

如果输入数据是有限的，那么以上代码的运行结果将与前一段代码的相同，

但是它对于习惯使用批处理器的程序员来说更友好。

6.1

　批处理技术

从原则上说，批处理是一种特殊的流处理：当输入数据是有限的，并且只

需要得到最终结果时，对所有数据定义一个全局窗口并在窗口里进行计算

即可。但是，这样做的效率如何呢？

传统上，有限数据流由专用的批处理器处理；某些时候，它比流处理器更

高效。但是，在流处理器中整合高效、大规模的批处理所需的大部分优化

方案，是可行的做法。这正是

Flink

所做的工作，而且这样做的效率很高。

流处理引擎

检查点、状态管理、

watermark、窗口和

触发器

用于调度和恢复的回

溯法、特殊内存数据

结构，以及查询优化

图 6-3：Flink 通过一个底层引擎同时支持流处理和批处理

同样的后端（流处理引擎）被用来处理有限数据和无限数据。在流处理引

擎之上，

Flink

有以下机制：