Flink基础教程

对时间的处理

｜

47

4.7

　真实案例

：

爱立信公司的

Kappa

架构

考虑到由爱立信公司提供技术支持的运营商通常拥有庞大的数据规模（每天

处理

10TB~100TB

的数据，每秒处理

10

万

~100

万个事件），该公司的一支

团队决定实现所谓的

Kappa

架构

3

。

2014

年，

Kafka

的创始人之一

Jay Kreps

为

O

’

Reilly Radar

撰写了一篇批评

Lambda

架构的文章

4

，并在其中开玩笑式

地创造了“

Kappa

架构”这个词。其实，

Kappa

架构正是第

2

章所讨论的流

处理架构。其中，数据流是设计核心；数据源不可变更；架构采用像

Flink

这样的单一流分析框架处理新鲜数据，并通过流重播处理历史数据。

爱立信公司需要实时分析云基础设施的系统性能指标和日志，从而持续地

监视系统行为，以确定是一切正常，还是有“新奇点”出现。“新奇点”既

可能是异常行为，也可能是系统状态变更，例如加入了新虚拟机。爱立信

团队使用的方法是将一个贝叶斯在线学习模型应用于包含电信云监控系统

多个指标的数据流（遥测信息和日志事件）。爱立信公司的研究人员

Nicolas

Seyvet

和

Ignacio Mulas Viela

说道：

该架构在不断地适应（学习）新系统常态的同时，能够快速且准

确地发现异常。这使它成为理想工具，并能够极大地降低因大型

计算设施运行而产生的维护成本。

图

4-8

展示了爱立信团队构建的数据管道。

数据源 Kafka

Kafka Elasticsearch Kibana

Flink

图 4-8：爱立信团队采用的基于 Flink 的流处理架构 ...