Stream Processing mit Apache Spark

Kapitel 30. Blick in die Zukunft

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Apache Spark ist ein schnelllebiges Projekt.

Wir haben gesehen, dass Spark Streaming eine ältere, relativ einfache API ist, die auf RDDs (Resilient Distributed Datasets) und den üblichen Java-, Scala- oder Python-Objekten aufbaut, an die jeder Programmierer gewöhnt ist. Spark Streaming ist kampferprobt und wird in vielen Anwendungen auf Produktionsebene eingesetzt. Wir können es als stabile API betrachten, bei der sich die Bemühungen hauptsächlich auf die Wartung beziehen.

Structured Streaming baut auf den Dataset- und Datenrahmen-APIs von Spark auf und nutzt die beeindruckenden Optimierungsmaßnahmen, die Apache Spark mit Spark SQL eingeführt hat, wie z.B. die Catalyst-Engine und die Codegenerierung und das Speichermanagement des Projekts Tungsten. In diesem Sinne ist Structured Streaming die Zukunft des Streaming in Apache Spark und wird in absehbarer Zeit die Hauptentwicklungsanstrengungen auf sich ziehen. Structured Streaming liefert somit spannende neue Entwicklungen wie die kontinuierliche Verarbeitung.

Wir müssen erwähnen, dass Structured Streaming ein neueres Framework für die Stream-Verarbeitung ist und als solches weniger ausgereift ist, was wir insbesondere in den Kapiteln zum maschinellen Lernen in diesem Buch dargelegt haben. Es ist wichtig, dies im Hinterkopf zu behalten, vor allem, wenn du ein Projekt ...