Kafka: The Definitive Guide, 2. Auflage

Kapitel 6. Kafka Interna

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Es ist nicht unbedingt notwendig, die Interna von Kafka zu verstehen, um Kafka in der Produktion einzusetzen oder Anwendungen zu schreiben, die es nutzen. Das Wissen um die Funktionsweise von Kafka hilft jedoch bei der Fehlersuche oder bei dem Versuch zu verstehen, warum sich Kafka so verhält, wie es sich verhält. Da es den Rahmen dieses Buches sprengen würde, auf jedes einzelne Implementierungsdetail und jede Designentscheidung einzugehen, konzentrieren wir uns in diesem Kapitel auf einige Themen, die für Kafka-Praktiker besonders wichtig sind:

• Kafka Controller

• Wie die Kafka-Replikation funktioniert

• Wie Kafka Anfragen von Produzenten und Konsumenten behandelt

• Wie Kafka die Speicherung handhabt, z. B. Dateiformat und Indizes

Ein tiefgehendes Verständnis dieser Themen ist besonders nützlich, wenn du Kafka abstimmst. Wenn du die Mechanismen verstehst, die die Abstimmknöpfe steuern, kannst du sie zielgerichtet einsetzen, anstatt wahllos an ihnen herumzufummeln.

Cluster-Mitgliedschaft

Kafka verwendet Apache ZooKeeper, um die Liste der Broker zu verwalten, die derzeit Mitglieder eines Clusters sind. Jeder Broker hat eine eindeutige Kennung, die entweder in der Broker-Konfigurationsdatei festgelegt oder automatisch generiert wird. Jedes Mal, wenn ein Broker-Prozess startet, registriert er sich mit seiner ID in ZooKeeper, ...