Streaming-Systeme

Streaming-Daten sind heutzutage ein großes Thema im Bereich Big Data. Da immer mehr Unternehmen versuchen, die riesigen, unbegrenzten Datenmengen, die unsere Welt durchdringen, zu bändigen, haben Streaming-Systeme endlich einen Reifegrad erreicht, der für eine breite Anwendung ausreicht. Mit diesem praktischen Leitfaden lernen Dateningenieure, Datenwissenschaftler und Entwickler, wie sie mit Streaming-Daten konzeptionell und plattformunabhängig arbeiten können.

Ausgehend von Tyler Akidaus beliebten Blogbeiträgen "Streaming 101" und "Streaming 102" führt dich dieses Buch von einer einführenden Ebene zu einem differenzierten Verständnis des Was, Wo, Wann und Wie der Verarbeitung von Echtzeit-Datenströmen. Gemeinsam mit den Co-Autoren Slava Chernyak und Reuven Lax tauchst du außerdem tief in das Thema Wasserzeichen und Exact-once-Verarbeitung ein.

Du wirst erkunden:

• Wie sich Streaming- und Batch-Datenverarbeitungsmuster unterscheiden
• Die Grundprinzipien und Konzepte hinter der robusten Datenverarbeitung außer der Reihe
• Wie Wasserzeichen den Fortschritt und die Vollständigkeit in unendlichen Datensätzen verfolgen
• Wie "Exact-once"-Datenverarbeitungstechniken Korrektheit gewährleisten
• Wie die Konzepte von Streams und Tabellen die Grundlage für die Batch- und Streaming-Datenverarbeitung bilden
• Die praktischen Beweggründe für einen leistungsstarken persistenten Zustandsmechanismus anhand eines realen Beispiels
• Wie zeitvariable Relationen eine Verbindung zwischen der Stream-Verarbeitung und der Welt von SQL und relationaler Algebra herstellen