Flink基础教程

Book description

作为新一代的开源流处理器,Flink是众多大数据处理框架中一颗冉冉升起的新星。它以同一种技术支持流处理和批处理,并能同时满足高吞吐、低延迟和容错的需求。本书由Flink项目核心成员执笔,系统阐释Flink的适用场景、设计理念、功能、用途和性能优势。

  • Flink的适用场景
  • 流处理架构相较于批处理架构的优势
  • Flink中的时间概念
  • Flink的检查点机制
  • Flink的性能优势

Table of contents

  1. 封面
  2. 扉页
  3. 版权
  4. 版权声明
  5. O’Reilly Media, Inc.介绍
  6. 目录
  7. 前言
    1. 如何阅读本书
    2. 排版约定
    3. 电子书
  8. 第1章 为何选择Flink
    1. 1.1 流处理欠佳的后果
      1. 1.1.1 零售业和市场营销
      2. 1.1.2 物联网
      3. 1.1.3 电信业
      4. 1.1.4 银行和金融业
    2. 1.2 连续事件处理的目标
    3. 1.3 流处理技术的演变
    4. 1.4 初探Flink
    5. 1.5 生产环境中的Flink
      1. 1.5.1 布衣格电信
      2. 1.5.2 其他案例
    6. 1.6 Flink的适用场景
  9. 第2章 流处理架构
    1. 2.1 传统架构与流处理架构
    2. 2.2 消息传输层和流处理层
    3. 2.3 消息传输层的理想功能
      1. 2.3.1 兼具高性能和持久性
      2. 2.3.2 将生产者和消费者解耦
    4. 2.4 支持微服务架构的流数据
      1. 2.4.1 数据流作为中心数据源
      2. 2.4.2 欺诈检测:流处理架构用例
      3. 2.4.3 给开发人员带来的灵活性
    5. 2.5 不限于实时应用程序
    6. 2.6 流的跨地域复制
  10. 第3章 Flink的用途
    1. 3.1 不同类型的正确性
      1. 3.1.1 符合产生数据的自然规律
      2. 3.1.2 事件时间
      3. 3.1.3 发生故障后仍保持准确
      4. 3.1.4 及时给出所需结果
      5. 3.1.5 使开发和运维更轻松
    2. 3.2 分阶段采用Flink
  11. 第4章 对时间的处理
    1. 4.1 采用批处理架构和Lambda架构计数
    2. 4.2 采用流处理架构计数
    3. 4.3 时间概念
    4. 4.4 窗口
      1. 4.4.1 时间窗口
      2. 4.4.2 计数窗口
      3. 4.4.3 会话窗口
      4. 4.4.4 触发器
      5. 4.4.5 窗口的实现
    5. 4.5 时空穿梭
    6. 4.6 watermark
    7. 4.7 真实案例:爱立信公司的Kappa架构
  12. 第5章 有状态的计算
    1. 5.1 一致性
    2. 5.2 检查点:保证exactly-once (1/2)
    3. 5.2 检查点:保证exactly-once (2/2)
    4. 5.3 保存点:状态版本控制
    5. 5.4 端到端的一致性和作为数据库的流处理器
    6. 5.5 Flink的性能
      1. 5.5.1 Yahoo! Streaming Benchmark
      2. 5.5.2 变化1:使用Flink状态
      3. 5.5.3 变化2:改进数据生成器并增加吞吐量
      4. 5.5.4 变化3:消除网络瓶颈
      5. 5.5.5 变化4:使用MapR Streams
      6. 5.5.6 变化5:增加key基数
    7. 5.6 结论
  13. 第6章 批处理:一种特殊的流处理
    1. 6.1 批处理技术
    2. 6.2 案例研究:Flink作为批处理器
  14. 附录 其他资源
    1. 进一步使用Flink
      1. 关于时间和窗口的更多内容
      2. 关于状态和检查点的更多内容
      3. 用Flink进行批处理
      4. Flink用例和用户故事
      5. 流处理架构
      6. 消息传输:Kafka
      7. 消息传输:MapR Streams
    2. Ted Dunning和Ellen Friedman的部分著作
  15. 关于作者

Product information

  • Title: Flink基础教程
  • Author(s): Ellen Friedman, Kostas Tzoumas
  • Release date: August 2018
  • Publisher(s): Posts & Telecom Press
  • ISBN: 9787115490063

You might also like

book

C++语言导学(原书第2版)

by 本贾尼 斯特劳斯特鲁普

本书简洁、自成体系,包含C++ 语言大多数主要特性和标准库组件。当然,这些并未深入介绍,而是给予程序员一个有意义的语言概述、一些关键的例子以及起步阶段的实用帮助。本书的目标不是教你如何编程,它也不可能是你精通C++ 的唯一资源。但是,如果你是一名C 或C++ 程序员,希望更加熟悉现在的C++ 语言,或者你是一名精通其他语言的程序员,希望获得有关现代C++ 语言本质和优点的精确描述,本书是最优选择。

book

Kafka权威指南

by Neha Narkhede, Gwen Shapira, Todd Palino

每个应用程序都会产生数据,包括日志消息、度量指标、用户活动记录、响应消息等。如何移动数据,几乎变得与数据本身一样重要。如果你是架构师、开发者或者产品工程师,同时也是Apache Kafka新手,那么这本实践指南将会帮助你成为流式平台上处理实时数据的专家。 本书由出身于LinkedIn的Kafka核心作者和一线技术人员共同执笔,详细介绍了如何部署Kafka集群、开发可靠的基于事件驱动的微服务,以及基于Kafka平台构建可伸缩的流式应用程序。通过详尽示例,你将会了解到Kafka的设计原则、可靠性保证、关键API,以及复制协议、控制器和存储层等架构细节。 了解发布和订阅消息模型以及该模型如何被应用在大数据生态系统中 学习使用Kafka生产者和消费者来生成消息和读取消息 了解Kafka保证可靠性数据传递的模式和场景需求 使用Kafka构建数据管道和应用程序的最佳实践 在生产环境中管理Kafka,包括监控、调优和维护 了解Kafka的关键度量指标 探索Kafka如何成为流式处理利器

book

MySQL® Crash Course

by Ben Forta

MySQL is one of the most popular database management systems available, powering everything from Internet powerhouses …

book

数据科学之编程技术:使用R进行数据清理、分析与可视化

by 迈克尔 弗里曼, 乔尔 罗斯

本书围绕使用R进行数据科学编程所需的实际步骤展开。全书着眼于该主题,介绍了有关该主题的工具和技术的整个生态系统。虽然编写代码是成为数据科学家的核心部分,但获得更多的基础技能也是这个过程中必不可少的。数据科学要安装和配置软件以编写、执行和管理代码,跟踪项目版本变动,利用计算机科学的核心概念来理解如何完成给定任务,访问并处理各种不同来源的数据,利用可视化手段来揭示数据中的模式,构建与他人共享观点的应用程序。本书的目的是帮助人们在这些领域打下坚实基础,以便能进入数据科学领域(或将数据科学引入他们工作的领域中)。