Kafka Streams und ksqlDB beherrschen

Kapitel 11. Fortgeschrittene und erweiterte Stream-Verarbeitung mit ksqlDB

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Im letzten Kapitel haben wir gelernt, wie wir mit ksqlDB grundlegende Datenvorverarbeitungs- und -umwandlungsaufgaben durchführen können. Die SQL-Anweisungen, die wir besprochen haben, waren zustandslos und ermöglichten es uns, Daten zu filtern, komplexe oder verschachtelte Strukturen zu verflachen, Daten mithilfe von Projektion umzugestalten und vieles mehr. In diesem Kapitel werden wir unser Verständnis von ksqlDB vertiefen, indem wir einige Anwendungsfälle zur Datenanreicherung und -aggregation besprechen. Die meisten Anweisungen, die wir besprechen werden, sind zustandsabhängig (z. B. mehrere Datensätze, was bei Joins und Aggregationen erforderlich ist) und zeitbasiert (z. B. Fensteroperationen), was sie unter der Haube komplexer, aber auch leistungsfähiger macht.

Einige der Themen, die wir in diesem Kapitel behandeln werden, sind:

• Joins verwenden, um Daten zu kombinieren und anzureichern

• Durchführung von Aggregationen

• Ausführen von Pull-Abfragen (d.h. Point-Lookups) gegen materialisierte Ansichten mit der CLI

• Arbeiten mit eingebauten ksqlDB Funktionen (scalar, aggregate und tableFunktionen)

• Benutzerdefinierte Funktionen mit Java erstellen

Wir werden das Netflix-Tutorial zur Änderungsverfolgung von aus dem vorherigen Kapitel verwenden, um viele dieser Konzepte ...