Skip to Content
在 Kubernetes 上管理云原生数据
book

在 Kubernetes 上管理云原生数据

by Jeff Carpenter, Patrick McFadin
May 2025
Beginner to intermediate
332 pages
4h 22m
Chinese
O'Reilly Media, Inc.
Content preview from 在 Kubernetes 上管理云原生数据

第 8 章 Kubernetes 上的数据流 Kubernetes 上的数据流

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见:translation-feedback@oreilly.com

提到数据基础架构,很多人首先想到的是持久性,即存储运行应用程序的状态。因此,到目前为止,我们的重点一直放在数据库和存储上。现在是时候考虑云原生数据栈的其他方面了。

对于那些管理数据管道的人来说,流式传输可能是您的起点,而数据基础架构的其他部分则是次要关注点。无论您的出发点是什么,数据移动都是整个数据堆栈中极其重要的一部分。在本章中,我们将研究如何在 Kubernetes 中使用流技术,在云原生应用中安全可靠地共享数据。

流媒体简介

第 1 章中,我们将流式传输定义为将数据从一个点移动到另一个点,并在某些情况下处理传输中的数据的功能。流式传输的历史几乎与持久化的历史一样悠久。随着数据被汇集到各种孤立的存储中,可靠地移动数据显然与可靠地存储数据同样重要。在当时,这被称为消息传递。数据的传输速度很慢,但很有条理,类似于邮政信件。消息传输基础架构将数据放置在一个可以异步、按顺序读取的地方,并保证交付。这满足了使用多台计算机时的关键需求,也是分布式计算的基础之一。

现代应用需求已从过去的消息传递发展到今天的流式传输。通常情况下,这意味着管理需要更即时处理的大量数据,我们称之为近实时数据。在 Kubernetes 中部署的分布式应用程序中,排序和交付保证成为一项极其重要的功能,在许多情况下是实现所需规模的关键因素。增加基础设施的复杂性如何帮助扩展?通过提供一种有序的方式来管理从数据创建到数据使用和存储的流程。流很少被用作真相的来源,但更重要的是,它们被用作真相的渠道

有关流媒体的软件和术语很多,可能会让初次使用的用户感到困惑。与任何复杂的话题一样,分解各个部分有助于我们加深理解。在为您的使用案例选择流媒体系统时,有三个方面需要评估:

  • 交付类型

  • 交货保证

  • 流媒体的功能范围

让我们仔细看看这些领域。

交付类型

要在应用程序中使用流媒体,您需要了解从众多流媒体系统中可供选择的交付方法。您需要了解您的应用需求,以便有效规划数据如何从生产者流向消费者。例如,"我的消费者是否需要独家访问?答案将决定哪个系统符合要求。图 8-1显示了流媒体系统中最常见的两种选择:点对点和发布/订阅:

点对点
在这种数据流中,生产者创建的数据通过代理,然后以一对一的关系传递给单个消费者。这主要是用来解耦生产者与消费者之间的直接连接。由于消费者可以在不丢失数据的情况下被移除或添加,因此它是一种出色的弹性功能。与此同时,中间商会维护订单和最后读取的信息,消费者可使用偏移量对其进行寻址。
发布/订阅(pub/sub)
在这种交付方法中,代理作为单个生产者和一对多关系中的一个或多个消费者的分发中心。消费者订阅一个主题,并接收生产者创建的任何新消息的通知--这是反应式或事件驱动架构的关键组成部分。
Delivery types
图 8-1. 交货类型

交货保证

结合交付类型,代理在称为合约的协议中维护从生产者到消费者的每种消息类型的交付保证。典型的交付类型如图 8-2 所示:最多一次(at-most-once)、最少一次(at-least-once)和精确一次(actly once)。该图显示了生产者发送消息的时间与消费者接收消息的方式之间的重要关系: ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

AirBnbBlueOriginElectronic ArtsHomeDepotNasdaqRakutenTata Consultancy Services

QuotationMarkO’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
QuotationMarkI wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
QuotationMarkI’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
QuotationMarkI'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
Mark W.
Embedded Software Engineer

You might also like

《使用 Kubernetes 实现云原生 DevOps(第二版)》

《使用 Kubernetes 实现云原生 DevOps(第二版)》

Justin Domingus, John Arundel
生产 Kubernetes

生产 Kubernetes

Josh Rosso, Rich Lander, Alex Brand, John Harris

Publisher Resources

ISBN: 9798341659667