Flink基础教程

有状态的计算

｜

67

增长的情况（如

tweet

）。

2016

年

2

月，

data Artisans

的博客发表了一篇文

章

3

，对

Yahoo! Streaming Benchmark

进行了拓展，并专注于解决上述问题。

由于最初的测试结果显示

Spark Streaming

的性能欠佳，因此这次的测试对

象只有

Storm

和

Flink

，它们在最初的测试中有着类似的表现。

第

1

个变化是利用

Flink

提供的状态容错特性重新实现应用程序，如图

5-15

所示。这使得应用程序能保证

exactly-once

。

数据

生成

输入

解析/

过滤/

转换

按照id

分组

窗口/聚合 查询

图 5-15：重新实现的应用程序利用了 Flink 内置的状态机制，并且可以保持每秒

300 万事件的吞吐量，同时保证 exactly-once。此时，应用程序的瓶颈在于 Flink 集

群与 Kafka 集群的连接（图中以粗箭头表示）

5.5.3

　变化

2

：

改进数据生成器并增加吞吐量

第

2

个变化是通过用每秒可以生成数百万事件的数据生成器来增加输入流

的数据量。结果如图

5-16

所示。

注

3

：

https://data-artisans.com/blog/extending-the-yahoo-streaming-benchmark