Kafka Verbinden

Vorwort

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Kafka Connect ist ein großartiges Tool für den Aufbau zuverlässiger und skalierbarer Datenpipelines. Es ist Teil der beliebten Apache Kafka Streaming-Plattform und obwohl es vielleicht nicht so viel Aufmerksamkeit erhält wie die Broker, Clients oder Kafka Streams, ist Kafka Connect ein Tool, das man kennen sollte. Mit ihm kannst du ganz einfach Daten in und aus deinen Kafka-Clustern holen und sogar Daten zwischen Clustern spiegeln. Dank seines Plug-in-Designs kannst du leistungsstarke Pipelines aufbauen, ohne eine einzige Codezeile zu schreiben.

Wir sind beide leidenschaftliche Kafka-Enthusiasten, die ihr Wissen gerne weitergeben, sei es durch Vorträge auf Konferenzen, durch das Schreiben von Blogbeiträgen oder einfach nur, um anderen Kafka-Enthusiasten zu helfen. Daher haben wir viel Zeit damit verbracht, mit Nutzern und Entwicklern auf der ganzen Welt über Kafka und Kafka Connect zu sprechen. Da Kafka eine sehr populäre Technologie ist, gibt es eine Menge großartiger Ressourcen wie Bücher, Blogbeiträge und Tutorials. Viele davon befassen sich mit Kafka Connect, aber wir stellen fest, dass es an Ressourcen mangelt, die tiefer in die verschiedenen Anwendungsfälle, Konfigurationen und Betriebsabläufe einsteigen. Obwohl es nicht schwer ist, Kafka Connect mit grundlegenden Kenntnissen zu nutzen, bedeuten seine Flexibilität und sein Funktionsumfang, dass ein tieferes Verständnis seiner Funktionsweise wirklich einen Unterschied machen kann.

Wir haben beide schon viele Konferenzvorträge über Kafka Connect gehalten, die über die Grundlagen hinausgehen, aber es gibt nur so viel, wie man in einer 40-minütigen Sitzung unterbringen kann. In diesem Buch haben wir all das Wissen zusammengetragen, das wir in den letzten Jahren über Kafka Connect geteilt haben, und zusätzlich alles, was nicht in eine Konferenzsitzung oder einen Blogbeitrag passt! Dazu gehören auch unsere eigenen Erfahrungen und die Erkenntnisse, die wir bei der Beratung und Unterstützung unserer Kunden gewonnen haben. Wir haben uns auch die Zeit genommen, jede Konfigurationseinstellung, jede Kennzahl und jede API genau zu untersuchen, um zu erklären, wie Kafka Connect funktioniert. Dazu mussten wir oft eigene Plug-ins schreiben, um Codepfade auszuprobieren, den Code durchforsten und uns mit anderen Kafka-Mitarbeitern austauschen.

Dieses Buch vermittelt dir alle Kenntnisse, die du brauchst, um zuverlässige Datenpipelines für deine Anwendungsfälle zu erstellen und sie in der Produktion einzusetzen. Kafka: The Definitive Guide¹ ist das Standardwerk für Kafka (wir haben beide ein Exemplar auf unserem Schreibtisch) und wir hoffen, dass dieses Buch dasselbe für Kafka Connect sein wird.

Wer sollte dieses Buch lesen?

Dieses Buch ist für alle Rollen geschrieben, die mit Kafka Connect-Umgebungen interagieren. Wir haben uns entschieden, die Begriffe Data Engineers, Site Reliability Engineers und Developer zu verwenden, um zwischen den Rollen zu unterscheiden. Dateningenieure entwerfen und erstellen Pipelines zur Verarbeitung und Analyse von Daten. Dazu gehören die Auswahl der richtigen Tools, das Design des Datenflusses und das Testen der Pipeline. Site Reliability Engineers sind für die Bereitstellung und Verwaltung von Kafka Connect-Umgebungen zuständig. Sie können einen oder mehrere Kafka Connect-Cluster verwalten, und auf jedem Cluster können mehrere Datenpipelines laufen. Schließlich passen Entwickler Kafka Connect an, indem sie eigene Plug-ins erstellen. Dies ist ein fortgeschrittener Anwendungsfall, aber viele der Kenntnisse, die für diese Rolle gelten, sind auch für Dateningenieure nützlich, um die verfügbaren Tools zu bewerten.

In vielen Unternehmen sind es wahrscheinlich dieselben Ingenieure, die alle drei Rollen übernehmen, aber in größeren Unternehmen können es auch völlig unterschiedliche Teams sein. Obwohl wir das Buch in mehrere Teile aufgeteilt haben, um diese verschiedenen Rollen abzudecken, wirst du es wahrscheinlich nützlich finden, sie alle zu verstehen.

Du brauchst keine Vorkenntnisse über Kafka oder Kafka Connect, um dieses Buch zu lesen. Wenn du bereits mit Kafka vertraut bist, kannst du Kapitel 2 überspringen, denn dort werden die Kafka-Grundlagen behandelt, die du für die Nutzung von Kafka Connect brauchst. Aber auch wenn du bereits mit Kafka Connect vertraut bist, ist dieses Buch für dich geschrieben. Im gesamten Buch werden bewährte Methoden und Tipps für Fortgeschrittene vorgestellt, damit du dein Wissen weiter ausbauen kannst.

Kafka-Versionen

Kafka ist ein sehr aktives Projekt, und jede neue Version (die etwa alle vier Monate erscheint) bringt neue Funktionen und Änderungen. Irgendwann mussten wir mit der Überarbeitung aufhören und uns für eine Version entscheiden, damit wir das Buch in die Hände der Leser/innen geben konnten. Wir haben uns für Kafka 3.5.0 entschieden, das im Juni 2023 veröffentlicht wurde und auf das wir uns beziehen.

Jede wichtige Änderung an Kafka muss zuerst von der Community abgestimmt werden. Um dies zu erleichtern, verwendet Kafka Kafka Improvement Proposals (KIPs). Ein KIP ist ein Dokument im Kafka-Wiki, das die Motivation für die Änderung sowie die technischen Details beschreibt. In diesem Buch erwähnen wir alle KIPs, die für die behandelten Funktionen und Konzepte relevant sind. Wenn du dich für ein bestimmtes Feature interessierst, empfehlen wir dir, einen Blick auf die entsprechende KIP zu werfen, um die Motivation und Geschichte hinter der Änderung zu erfahren. Sei dir aber bewusst, dass die endgültigen Implementierungen manchmal von den ursprünglichen Vorschlägen abweichen.

Navigieren in diesem Buch

Dieses Buch besteht aus zwölf Kapiteln, die in vier Teile gegliedert sind. Teil I besteht aus zwei Kapiteln und bietet eine Einführung in Kafka Connect und Kafka im Allgemeinen. Es richtet sich vor allem an Ingenieure, die neu bei Kafka Connect sind oder gerade erst damit anfangen.

Teil II besteht aus vier Kapiteln und erklärt, wie man Datenpipelines mit Kafka Connect aufbaut. Er ist vor allem für Dateningenieure relevant. In den Kapiteln 3 und 4 werden die Kernkomponenten von Kafka Connect besprochen und es wird erklärt, wie man belastbare und effiziente Datenpipelines entwickelt, indem man sie kombiniert. Die anderen Kapitel in diesem Teil befassen sich ausführlich mit einigen der beliebtesten Konnektoren. Kapitel 5 behandelt drei Konnektoren aus der Community: Confluent S3 Sink, Confluent JDBC Source und Debezium MySQL Source. Kapitel 6 beschreibt die Funktionsweise von MirrorMaker, dem Spiegelungstool, das Teil von Kafka ist. Dazu gehören die Funktionen und Konfigurationen der Source-, Checkpoint- und Heartbeat-Konnektoren.

Teil III besteht aus vier Kapiteln und konzentriert sich auf die betrieblichen Aspekte des Betriebs von Kafka Connect. Er richtet sich an Ingenieure für Standortzuverlässigkeit. Kapitel 7 zeigt, wie man Kafka Connect-Cluster in Produktionsumgebungen einsetzt und betreibt. Kapitel 8 geht auf alle Konfigurationseinstellungen ein, die Kafka Connect zur Verfügung stellt, und liefert einige Hintergrundinformationen, damit du entscheiden kannst, wie und wann du sie anpassen solltest. In Kapitel 9 wird beschrieben, wie du Protokolle und Metriken nutzen kannst, um Kafka Connect-Cluster kontinuierlich zu überwachen. In Kapitel 10 schließlich werden die wichtigsten Überlegungen zum Betrieb von Kafka Connect-Clustern auf Kubernetes erörtert. Dazu gehören eine allgemeine Einführung in Kubernetes und eine Erläuterung der Optionen, die für den Einsatz von Kafka Connect auf dieser Art von Infrastruktur zur Verfügung stehen.

Teil IV besteht aus zwei Kapiteln und erklärt, wie man eigene Konnektoren und Plug-ins für Kafka Connect implementiert. Er geht im Detail auf die APIs ein und richtet sich an Entwickler, die Kafka Connect für ihre Anwendungsfälle anpassen möchten.

In diesem Buch verwendete Konventionen

In diesem Buch werden die folgenden typografischen Konventionen verwendet:

Kursiv

Weist auf neue Begriffe, URLs, E-Mail-Adressen, Dateinamen und Dateierweiterungen hin.

Constant width

Wird für Programmlistings sowie innerhalb von Absätzen verwendet, um auf Programmelemente wie Variablen- oder Funktionsnamen, Datenbanken, Datentypen, Umgebungsvariablen, Anweisungen und Schlüsselwörter hinzuweisen.

Constant width bold

Zeigt Befehle oder anderen Text an, der vom Benutzer wortwörtlich eingetippt werden sollte.

<REPLACE_ME>

Text in spitzen Klammern sollte durch vom Benutzer eingegebene Werte oder durch vom Kontext bestimmte Werte ersetzt werden. Wenn du zum Beispiel eine Datei für einen Connector mit dem Namen my-source ausführst, könnte der Text /connectors/<CONNECTOR_NAME>/config lauten, und du solltest ihn in /connectors/my-source/config ändern.

Tipp

Dieses Element steht für einen Tipp oder eine Anregung.

Hinweis

Dieses Element steht für einen allgemeinen Hinweis.

Warnung

Dieses Element weist auf eine Warnung oder einen Warnhinweis hin.

O'Reilly Online Learning

Hinweis

Seit mehr als 40 Jahren bietet O'Reilly Media Schulungen, Wissen und Einblicke in Technologie und Wirtschaft, um Unternehmen zum Erfolg zu verhelfen.

Unser einzigartiges Netzwerk von Experten und Innovatoren teilt sein Wissen und seine Erfahrung durch Bücher, Artikel und unsere Online-Lernplattform. Die Online-Lernplattform von O'Reilly bietet dir On-Demand-Zugang zu Live-Trainingskursen, ausführlichen Lernpfaden, interaktiven Programmierumgebungen und einer umfangreichen Text- und Videosammlung von O'Reilly und über 200 anderen Verlagen. Weitere Informationen erhältst du unter https://oreilly.com.

Wie du uns kontaktierst

Bitte richte Kommentare und Fragen zu diesem Buch an den Verlag:

• O'Reilly Media, Inc.
• 1005 Gravenstein Highway Nord
• Sebastopol, CA 95472
• 800-889-8969 (in den Vereinigten Staaten oder Kanada)
• 707-829-7019 (international oder lokal)
• 707-829-0104 (Fax)
• [e-mail]
• https://www.oreilly.com/about/contact.html

Wir haben eine Webseite für dieses Buch, auf der wir Errata, Beispiele und zusätzliche Informationen auflisten. Du kannst diese Seite unter https://oreil.ly/KafkaConnect aufrufen .

Neuigkeiten und Informationen über unsere Bücher und Kurse findest du unter https://oreilly.com.

Du findest uns auf LinkedIn: https://linkedin.com/company/oreilly-media.

Folge uns auf Twitter: https://twitter.com/oreillymedia.

Sieh uns auf YouTube: https://youtube.com/oreillymedia.

Danksagung

Zunächst möchten wir uns bei allen Mitwirkenden und Mitgliedern der Apache Kafka Community bedanken. Diese lebendige und einladende Gemeinschaft ist einer der Gründe, warum Kafka so beliebt ist und immer noch wächst und sich ständig verbessert. Ein besonderer Dank geht an Jay Kreps, der sich die Zeit genommen hat, das Vorwort für dieses Buch zu schreiben.

Wir danken auch den vielen Rezensenten, die uns während der Arbeit an diesem Buch Feedback gegeben haben: Robin Moffatt, Randall Hauch, Chris Egerton, Ryanne Dolan, Dale Lane, Gerard Ryan, Jakub Scholz, Paolo Patierno, Federico Valeri, Andrew Schofield und Chris Cranford. Ihr Beitrag hat die Qualität dieses Buches deutlich verbessert. Außerdem danken wir den Leserinnen und Lesern, die uns ihr Feedback gegeben haben, nachdem sie die Early-Access-Version auf der O'Reilly-Website gelesen hatten.

Unser Dank geht an Eric Johnson und Jess Haberman, die dieses Buch ermöglicht haben, sowie an Aaron Black und Gregory Hyman vom O'Reilly-Team. Wir danken auch unserem O'Reilly-Entwicklungsredakteur Jeff Bleiel für seine Hilfe beim Schreiben des Buches und dafür, dass er den Zeitplan an unsere persönlichen Zeitvorgaben angepasst hat.

Wir möchten uns bei allen Mitgliedern des Kafka-Teams bei Red Hat dafür bedanken, dass sie uns monatelang die Möglichkeit gegeben haben, an diesem Buch zu arbeiten.

Mickael möchte sich bei seiner Familie und seinen Freunden dafür bedanken, dass sie ihn bei diesem Projekt unterstützt haben. Das Schreiben eines Buches nimmt viel Zeit in Anspruch, und ihre Hilfe war sehr wichtig, damit er sich konzentrieren und das Buch fertigstellen konnte.

Kate möchte sich bei ihrem Mann Russell für seine Geduld und Unterstützung während des Schreibprozesses bedanken. Ohne seine Hilfe hätte sie es nicht geschafft, ein Buch fertigzustellen und gleichzeitig zum ersten Mal Mutter zu werden. Sie möchte auch ihren Eltern für ihre ständige Ermutigung bei all ihren Unternehmungen danken. Schließlich dankt Kate ihren Mentorinnen Holly und Erin dafür, dass sie ihr gezeigt haben, wozu Frauen in der Tech-Branche fähig sind.

¹ Gwen Shapira, Todd Palino, Rajini Sivaram, und Krit Petty, Kafka: The Definitive Guide, 2nd Ed. (O'Reilly, 2021); Neha Narkhede, Gwen Shapira, and Todd Palino, 1st Ed. (2017).