Kafka: The Definitive Guide, 2. Auflage

Kapitel 14. Stream-Verarbeitung

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Kafka wurde traditionell als leistungsfähiger Nachrichtenbus angesehen, der Ereignisströme liefern kann, aber keine Verarbeitungs- oder Umwandlungsfunktionen besitzt. Kafkas zuverlässige Streaming-Fähigkeiten machen es zu einer perfekten Datenquelle für Stream-Processing-Systeme. Apache Storm, Apache Spark Streaming, Apache Flink, Apache Samza und viele andere Stream-Processing-Systeme wurden mit Kafka als einziger zuverlässiger Datenquelle entwickelt.

Mit der zunehmenden Popularität von Apache Kafka, zunächst als einfacher Nachrichtenbus und später als Datenintegrationssystem, verfügten viele Unternehmen über ein System, das viele Ströme interessanter Daten enthielt, die über lange Zeiträume gespeichert und perfekt geordnet waren und nur darauf warteten, dass ein Stream-Processing-Framework auftauchte und sie verarbeitete. Mit anderen Worten: Genauso wie die Datenverarbeitung vor der Erfindung von Datenbanken deutlich schwieriger war, wurde die Streamverarbeitung durch das Fehlen einer Streamverarbeitungsplattform behindert.

Seit Version 0.10.0 bietet Kafka mehr als nur eine zuverlässige Quelle für Datenströme für jedes beliebte Stream Processing Framework. Jetzt enthält Kafka eine leistungsstarke Stream-Verarbeitungsbibliothek als Teil seiner Sammlung von Client-Bibliotheken, genannt Kafka Streams (oder manchmal ...