Skip to Main Content
Spark: Der endgültige Leitfaden
book

Spark: Der endgültige Leitfaden

by Bill Chambers, Matei Zaharia
September 2024
Intermediate to advanced content levelIntermediate to advanced
606 pages
16h 25m
German
O'Reilly Media, Inc.
Book available
Content preview from Spark: Der endgültige Leitfaden

Kapitel 23. Strukturiertes Streaming in der Produktion

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com

Die vorangegangenen Kapitel dieses Teils des Buches haben Structured Streaming aus der Sicht des Nutzers behandelt. Natürlich ist dies der Kern deiner Anwendung. In diesem Kapitel geht es um einige der operativen Werkzeuge, die du brauchst, um Structured Streaming nach der Entwicklung einer Anwendung stabil in der Produktion zu betreiben.

Structured Streaming wurde in Apache Spark 2.2.0 als produktionsreif eingestuft, was bedeutet, dass diese Version alle für den Produktionseinsatz erforderlichen Funktionen enthält und die API stabilisiert. Viele Unternehmen setzen das System bereits in der Produktion ein, weil es sich, ehrlich gesagt, nicht wesentlich von anderen produktiven Spark-Anwendungen unterscheidet. Durch Funktionen wie transaktionale Quellen/Senken und Exact-once-Verarbeitung haben die Entwickler von Structured Streaming versucht, das System so einfach wie möglich zu machen. Dieses Kapitel führt dich durch einige der wichtigsten Aufgaben, die mit Structured Streaming verbunden sind. Dies soll alles ergänzen, was wir in Teil II über Spark-Operationen gesehen und gelernt haben.

Fehlertoleranz und Checkpointing

Die wichtigste betriebliche Sorge für eine Streaming-Anwendung ist die Fehlerbehebung. Fehler sind unvermeidlich: Du wirst eine Maschine im Cluster verlieren, ein Schema wird ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Spark lernen, 2. Auflage

Spark lernen, 2. Auflage

Jules S. Damji, Brooke Wenig, Tathagata Das, Denny Lee
Strategisches IT-Management

Strategisches IT-Management

Josephine Hofmann, Matthias Knoll

Publisher Resources

ISBN: 9781098183950Supplemental Content