
流处理系统
|
261
短时间间隔。例如,将此值设置为
2 s
可确保下一个检查点在前一个检查点已完成至少
2 s
后才会开始。默认情况下,
Flink
应用程序不启用检查点。
15.4
总结和延伸阅读
流系统产生实时相关结果的能力在许多应用领域都极具吸引力。通过它,你可以实时转
换、聚合和分析传入的数据。应用程序可以根据时间窗口或消息量对有限批次的数据执
行分析。这使得识别数据趋势并根据最新数据窗口中的值计算指标成为可能。
你可以利用许多流平台来构建可容错、可扩展的应用程序。可扩展性是通过将逻辑数据
流应用程序架构转换为一个集群中与之物理等价的跨计算资源分布和连接的处理节点来
实现的。容错机制持久保存处理节点的状态并跟踪哪些消息已通过完整的数据流应用程
序成功处理。当发生故障时,可以从第一个未完成的消息重新启动流。
推荐一本涵盖流应用程序设计和开发的问题的优秀书籍,即
Tyler Akidau
、
Slava
Chernyak
和
Reuven Lax
合著的
Streaming Systems: The What, Where, When, and How of
Large-Scale Data Processing
(
O’Reilly
2018
年)。
以下是有关流系统领域前沿的竞品书籍,是学习
Apache Flink
、
Apache Storm
、
Kinesis
、
Apache Kafka Streams
、
Apache Spark Streams
以及
Spring Cloud Data Flow
的极好的知
识来源: