Skip to Content
Kafka Connect
book

Kafka Connect

by Mickael Maison, Kate Stanley
May 2025
Intermediate to advanced
402 pages
5h 9m
Chinese
O'Reilly Media, Inc.
Content preview from Kafka Connect

序言

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见:translation-feedback@oreilly.com

Kafka Connect 是构建可靠、可扩展的数据管道的绝佳工具。它是流行的 Apache Kafka 流平台的一部分,虽然它可能不像经纪商、客户端或 Kafka Streams 那样受到关注,但 Kafka Connect 是一个值得注意的工具。它可以让你轻松地将数据导入和导出 Kafka 集群,甚至在集群之间进行数据镜像。它的可插拔设计让你无需编写任何代码就能构建强大的管道。

我们都热衷于分享知识,无论是通过在会议上发言、撰写博文,还是帮助其他 Kafka 爱好者。因此,我们花了很多时间与世界各地的用户和开发人员讨论 Kafka 和 Kafka Connect。由于 Kafka 是一项非常流行的技术,因此有很多优秀的资源,例如书籍、博文和教程。其中许多确实涵盖了 Kafka Connect,但我们发现缺乏深入研究其各种用例、配置和操作流程的资源。虽然 Kafka Connect 不难在具备基础知识的情况下开始使用,但它的灵活性和功能范围意味着,深入了解它的工作原理才能真正发挥作用。

我们都在会议上做过很多关于Kafka Connect的演讲,内容超出了基础知识,但40分钟的会议只能容纳这么多内容。在撰写本书的过程中,我们汇集了过去几年中分享的有关 Kafka Connect 的所有知识,以及会议或博文中无法容纳的所有内容!其中包括我们自己的运行经验,以及我们在帮助和建议客户时获得的见解。我们还花时间深入研究每项配置设置、指标和 API,以全面解释 Kafka Connect 的工作原理。这通常涉及编写自定义插件以尝试代码路径、仔细研究代码以及与其他 Kafka 贡献者聊天。

本书将为您提供为您的用例构建可靠的数据管道并在生产中运行它们所需的全部知识。Kafka:权威指南1是 Kafka 的必读书籍(我们俩的办公桌上都放着一本),我们希望这本书也能成为 Kafka Connect 的必读书籍。

谁应该阅读这本书

本书是为与 Kafka Connect 环境交互的所有角色编写的。我们选择使用数据工程师站点可靠性工程师开发人员来区分不同角色。数据工程师设计并构建管道来处理和分析数据。这包括选择正确的工具、设计数据流和测试管道。站点可靠性工程师负责部署和管理 Kafka Connect 环境。他们可能管理一个或多个 Kafka Connect 集群,每个集群可能运行多个数据管道。最后,开发人员通过构建自定义插件来定制 Kafka Connect。这是一种高级用例,但适用于这一角色的许多知识对于数据工程师评估可用工具也很有用。

在许多组织中,可能是由相同的工程师来扮演这三种角色,但在较大的组织中,可能是完全不同的团队。虽然我们将本书分为多个部分来介绍这些不同的角色,但你可能会发现了解所有这些角色是非常有用的。

阅读本书之前,你不需要对 Kafka 或 Kafka Connect 有任何了解。如果你已经熟悉 Kafka,可以随意跳过第 2 章,因为这一章涵盖了使用 Kafka Connect 所需的 Kafka 基础知识。同样,如果你已经熟悉了 Kafka Connect,本书在编写时仍然会考虑到你的需要。在全书中,我们将分享最佳实践和高级技巧,帮助你进一步提高专业知识。

Kafka 版本

Kafka 是一个非常活跃的项目,每个新版本(大致每四个月发布一次)都会带来新的功能和变化。到了某个时候,我们不得不停止修订,选定一个版本,以便将这本书送到读者手中。我们最终选定了 ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

AirBnbBlueOriginElectronic ArtsHomeDepotNasdaqRakutenTata Consultancy Services

QuotationMarkO’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
QuotationMarkI wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
QuotationMarkI’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
QuotationMarkI'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
Mark W.
Embedded Software Engineer

You might also like

Kafka Connect

Kafka Connect

Mickael Maison, Kate Stanley

Publisher Resources

ISBN: 9798341658189