Skip to Main Content
Spark: Der endgültige Leitfaden
book

Spark: Der endgültige Leitfaden

by Bill Chambers, Matei Zaharia
September 2024
Intermediate to advanced content levelIntermediate to advanced
606 pages
16h 25m
German
O'Reilly Media, Inc.
Book available
Content preview from Spark: Der endgültige Leitfaden

Kapitel 21. Grundlagen des strukturierten Streaming

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com

Nachdem wir nun einen kurzen Überblick über die Stream-Verarbeitung gegeben haben, wollen wir uns direkt mit Structured Streaming beschäftigen. In diesem Kapitel werden wir noch einmal einige der wichtigsten Konzepte hinter Structured Streaming erläutern und sie dann mit einigen Codebeispielen anwenden, die zeigen, wie einfach das System zu benutzen ist.

Grundlagen des strukturierten Streamings

Structured Streaming ist, wie wir am Ende von Kapitel 20 besprochen haben, ein Stream Processing Framework, das auf der SQL-Engine von Spark aufbaut. Anstatt eine eigene API einzuführen, nutzt Structured Streaming die bestehenden strukturierten APIs in Spark (DataFrames, Datasets und SQL), sodass alle Operationen, die du von dort kennst, unterstützt werden. Nutzer/innen drücken eine Streaming-Berechnung genauso aus, wie sie eine Batch-Berechnung für statische Daten schreiben würden. Wenn du dies festlegst und ein Streaming-Ziel angibst, sorgt die Structured Streaming Engine dafür, dass deine Abfrage inkrementell und kontinuierlich ausgeführt wird, sobald neue Daten im System eintreffen. Diese logischen Anweisungen für die Berechnung werden dann mit der gleichen Catalyst-Engine ausgeführt, die in Teil II dieses Buches besprochen wird, einschließlich Abfrageoptimierung, Codegenerierung usw. Neben der zentralen ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Spark lernen, 2. Auflage

Spark lernen, 2. Auflage

Jules S. Damji, Brooke Wenig, Tathagata Das, Denny Lee
Strategisches IT-Management

Strategisches IT-Management

Josephine Hofmann, Matthias Knoll

Publisher Resources

ISBN: 9781098183950Supplemental Content