Kafka Streams und ksqlDB beherrschen

Kapitel 9. Datenintegration mit ksqlDB

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Der erste Schritt beim Aufbau einer Stream-Processing-Anwendung mit ksqlDB besteht darin, sich zu überlegen, wo die Daten, die verarbeiten soll, derzeit gespeichert sind und wohin die angereicherten/umgewandelten Daten schließlich geschrieben werden sollen. Da ksqlDB unter der Haube Kafka Streams nutzt, sind die direkten Ein- und Ausgaben der Anwendung, die du erstellst, immer Kafka-Themen. ksqlDB macht es einfach, auch andere Datenquellen zu integrieren, darunter beliebte Systeme von Drittanbietern wie Elasticsearch, PostgreSQL, MySQL, Google PubSub, Amazon Kinesis, MongoDB und Hunderte von anderen.

Wenn sich deine Daten bereits in Kafka befinden und du nicht vorhast, die verarbeiteten Ergebnisse in ein externes System zu schreiben, ist die Arbeit mit den Datenintegrationsfunktionen von ksqlDB (die von Kafka Connect gesteuert werden) natürlich nicht erforderlich. Solltest du jedoch einmal von externen Systemen lesen oder auf sie schreiben müssen, bietet dieses Kapitel die notwendigen Grundlagen, um die entsprechenden Datenquellen und -senken mit ksqlDB und Kafka Connect zu verbinden.

Dieses Kapitel ist kein umfassender Leitfaden zu Kafka Connect, einer separaten API im Kafka-Ökosystem und dementsprechend ein Thema, über das viel geschrieben werden kann und wurde. Wir werden dir genug Hintergrundwissen vermitteln, ...