May 2025
Intermediate to advanced
402 pages
5h 9m
Chinese
Content preview from Kafka Connect
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
第 2 章 Apache Kafka 基础知识 Apache Kafka 基础知识
本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：translation-feedback@oreilly.com
Connect 是 Apache Kafka 项目的组件之一。在本章中，我们将快速概述 Kafka 的工作原理以及你应该熟悉的概念，以便充分理解本书的其他内容。我们还将讨论不同的 Kafka 客户端，包括 Kafka Streams，并向你展示如何在本地 Kafka 集群上运行它们。你很可能需要在开发环境中运行 Kafka 和相关客户端，即使你的 Kafka 集群是由其他人在生产环境中运行的。
如果你已经对 Kafka 有了一定的了解，可以跳过本章，直接进入第 3 章。如果你想深入了解 Apache Kafka，建议你看看Kafka：The Definitive Guide》（O'Reilly），作者 Gwen Shapira 等人。
分布式事件流平台
在官方网站上，Kafka 被描述为 "开源分布式事件流平台"。虽然这是一个技术上准确的描述，但大多数人需要更多细节才能理解这意味着什么、Kafka 是什么以及你可以用它来做什么。让我们来看看描述中的每一部分，并解释其含义。
开放源代码
由于其开放性，不断壮大的 Kafka 社区创建了许多第三方工具和集成。
该项目最初由在 LinkedIn 创建，因为他们需要一个性能良好、灵活的消息传递系统来处理用户产生的大量数据。它于 2010 年作为开源项目发布，并于 2011 年加入 Apache 软件基金会。这意味着 Apache Kafka 的所有代码都是公开的，只要遵守Apache License 2.0，就可以自由使用和共享。
备注
Apache 软件基金会（ASF）是一家非营利性公司，成立于 1999 年，其目标是支持开源项目。它为项目提供基础设施、工具、流程和法律支持，帮助项目开发并取得成功。它是世界上最大的开源基金会，截至 2021 年，它支持的项目超过 300 个，代码总量超过 2 亿行。
除了提供 Kafka 的源代码外，客户端和服务器使用的协议也被记录在案。这允许第三方编写自己的兼容客户端和工具。不断壮大的 Kafka 社区已经创建了许多第三方工具和集成。值得注意的是，Kafka 的开发是公开进行的。所有关于新功能、错误、修复、发布等的讨论都在邮件列表、GitHub 和 Jira 等公共空间进行。添加新功能的流程非常明确，包括创建Kafka 改进提案（KIP），，在将其添加到项目之前必须经过社区的讨论和投票。
开放治理意味着 Apache Kafka 不受一家公司控制，后者可以终止项目或更改使用条款。相反，它是由一群活跃的不同贡献者管理的。迄今为止，Kafka 已收到来自 1000 多个不同个人的贡献。在这个庞大的群体中，一小部分（约 50 人）是提交者，他们可以接受贡献并将其合并到 Kafka 代码库中。最后，一个更小的群体（约 30 人），即项目管理委员会（PMC）， 监督管理。他们选举新的提交者和 PMC 成员，制定项目的技术方向，并确保项目周围的社区保持健康。您可以在网站 上找到当前 Kafka 的提交者和 PMC 成员名册。
已分发
Kafka 设计用于在多台服务器上部署。运行 Kafka 的服务器被称为 "代理"（broker），相互连接的 "代理 "组成一个集群。Kafka 是一个分布式系统，系统工作量由所有可用的代理共享。
分布式系统得益于最近向使用 "现成 "服务器 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.