Skip to Main Content
Delta Lake: Auf und davon
book

Delta Lake: Auf und davon

by Bennie Haelen, Dan Davis
September 2024
Intermediate to advanced content levelIntermediate to advanced
266 pages
7h 30m
German
O'Reilly Media, Inc.
Book available
Content preview from Delta Lake: Auf und davon

Kapitel 8. Operationen mit Streaming-Daten

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com

Spark Structured Streaming wurde erstmals in Apache Spark 2.0 eingeführt. Das Hauptziel von Structured Streaming war es, Streaming-Anwendungen auf Spark nahezu in Echtzeit zu erstellen. Structured Streaming ersetzte eine ältere, untergeordnete API namens DStreams (Discretized Streams), die auf dem alten Spark RDD-Modell basierte. Seitdem hat Structured Streaming viele Optimierungen und Konnektoren hinzugefügt, darunter die Integration mit Delta Lake.

Delta Lake ist über seine beiden Hauptoperatoren readStream und writeStream in Spark Structured Streaming integriert. Delta-Tabellen können sowohl als Streaming-Quellen als auch als Streaming-Senken verwendet werden. Delta Lake überwindet viele Einschränkungen, die typischerweise mit Streaming-Systemen verbunden sind, z. B:

  • Zusammenführen kleiner Dateien, die durch mit niedriger Latenz erzeugt werden

  • Aufrechterhaltung der "Exact-once"-Verarbeitung mit mehr als einem Stream (oder gleichzeitigen Stapelaufträgen)

  • Nutzung des Delta-Transaktionsprotokolls zur effizienten Erkennung neuer Dateien bei der Verwendung von Dateien für einen Quellstrom

Wir beginnen dieses Kapitel mit einem kurzen Überblick über Spark Structured Streaming, gefolgt von einem ersten Überblick über Delta Lake Streaming und seine einzigartigen Möglichkeiten. Als Nächstes gehen wir durch ein ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Canon 5D Mark III: From Snapshots to Great Shots

Canon 5D Mark III: From Snapshots to Great Shots

Ibarionex Perello

Publisher Resources

ISBN: 9781098189549Supplemental Content