Flink基础教程

有状态的计算

｜

51

• exactly-once

：这指的是系统保证在发生故障后得到的计数结果与正确值

一致。

曾经，

at-least-once

非常流行。第一代流处理器（如

Storm

和

Samza

）刚问

世时只保证

at-least-once

，原因有二。

(1)

保证

exactly-once

的系统实现起来更复杂。这在基础架构层（决定什么

代表正确，以及

exactly-once

的范围是什么）和实现层都很有挑战性。

(2)

流处理系统的早期用户愿意接受框架的局限性，并在应用层想办法弥补

（例如使应用程序具有幂等性，或者用批量计算层再做一遍计算）。

最先保证

exactly-once

的系统（

Storm Trident

和

Spark Streaming

）在性能和

表现力这两个方面付出了很大的代价。为了保证

exactly-once

，这些系统无

法单独地对每条记录运用应用逻辑，而是同时处理多条（一批）记录，保

证对每一批的处理要么全部成功，要么全部失败。这就导致在得到结果前，

必须等待一批记录处理结束。因此，用户经常不得不使用两个流处理框架

（一个用来保证

exactly-once

，另一个用来对每个元素做低延迟处理），结果

使基础设施更加复杂。曾经，用户不得不在保证

exactly-once

与获得低延迟

和效率之间权衡利弊。

Flink

避免了这种权衡。

Flink

的一个重大价值在于，它既保证了

exactly-once

，也具有

低延迟和高吞吐的处理能力。

从根本上说，

Flink

通过使自身满足所有需求来避免权衡，它是业界的一次

意义重大的技术飞跃 ...