数据与机器学习平台架构设计

第 12 章 数据平台现代化 数据平台现代化：示范案例

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

在前面的章节中，我们探讨了如何利用云来构建一个现代数据平台，该平台可以大规模处理数据，帮助企业消除孤岛，使更多员工能够访问数据，让从数据中获取洞察力变得更容易，并加快人工智能/移动计算的采用。这些功能共同促进了数据价值的挖掘。在最后一章中，我们将把这些原则应用到一个模型案例中，以解释将老式数据平台转变为现代化和云原生平台意味着什么。请注意， 案例纯属虚构，以帮助讨论。

新时代的新技术

YouNetwork 是一家重要的视频广播公司，为全欧洲 1,500 多万客户提供服务。从 20 世纪 90 年代初率先采用卫星广播，到最近实施互联网协议电视 (IPTV) 协议，YouNetwork 在其 30 多年的运营中经历了多个技术转型周期。IPTV 的采用使 YouNetwork 能够利用连接互联网的定制机顶盒 (STB) 推出实时节目和视频点播 (VOD) 服务。

在此期间，该组织每年都会扩大其视频目录（如电视节目、电影、体育赛事等），从而使其产品能够适应客户的需求。令人印象深刻的是，它还成功地实现了产品组合的多样化，增加了新的服务（如在线游戏、互联网连接等），以支持和促进其全新 IPTV 服务的采用。

换句话说，YouNetwork 是一家成功的企业，既能在核心业务（内容）上进行创新，又能成功整合现有的新技术来拓展市场。最近，新服务产生的数据量激增，而公司又无法根据实时数据敏捷地处理，这引起了公司对未来技术堆栈的反思。主要驱动因素包括：(1) 随着数据量的不断增加，服务的可扩展性；(2) 快速实施和投产基于分析的新解决方案的必要性；(3) 向日益期待个性化的客户提供更多定制内容流的必要性。

变革的必要性

在上一财年开始时，董事会安排了一次会议讨论业务战略，讨论的主要议题之一就是需要改变技术堆栈。传统上，YouNetwork 对技术进行投资时，都是在自己的数据中心建立能力。然而，可扩展性问题使得这种做法越来越难以实现。董事会最担心的问题是，每一个旨在实施创新解决方案的开发项目，如收集定制客户信息、预测用户下一步想看的内容以及实时欺诈检测系统，都会成为一个挑战，最终无法及时实施。

董事会的讨论强调了彻底变革的必要性。从技术角度来看，尤其是在数据方面，YouNetwork 在其历史上主要经历了两次数字化转型：

COTS 时代

公司投入大量资金，从单一供应商处购买硬件和软件，共同开展所有活动（如 DWH/数据集市/立方体分析）

OSS 时代

公司试图在硬件和软件之间做出区分，采用更加开源（主要是 Hadoop）的方法，能够应对非结构化数据管理和时间序列分析等新的使用案例

董事会认识到，公司现在需要新的转型，迈出进化的第三大步--董事会决定采用新的征程，利用近代最具颠覆性的技术之一：公共云。

由于公司内部没有人有足够的经验来推动这样的转型，因此第一个决定是成立一个技术 "SWAT "团队（由内部领导和来自顶级咨询公司的承包商组成），目的是考察市场上所有可能的解决方案，并为 YouNetwork 现有数据平台的现代化准备一个可靠的商业计划。

不仅仅是技术问题

SWAT 团队组织了一系列与主要 Cloud 供应商的一对一会议，以便更好地了解如何将数据平台架构转变为现代堆栈。即使在第一次互动之后，我们也清楚地认识到，云计算之旅不仅仅是一次技术之旅。它还需要在整个组织范围内转变 YouNetworkers ...