Stream Processing mit Apache Spark

Kapitel 26. Leistungsoptimierung

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Die Leistungsmerkmale einer verteilten Streaming-Anwendung werden oft durch komplexe Beziehungen zwischen internen und externen Faktoren bestimmt, die an ihrem Betrieb beteiligt sind.

Externe Faktoren sind an die Umgebung gebunden, in der die Anwendung ausgeführt wird, z.B. die Hosts, die den Cluster bilden, und das Netzwerk, das sie verbindet. Jeder Host stellt Ressourcen wie CPU, Speicher und Speicherung mit bestimmten Leistungsmerkmalen zur Verfügung. So gibt es z. B. magnetische Festplatten, die in der Regel langsam sind, aber eine kostengünstige Speicherung ermöglichen, oder schnelle Solid-State-Drive-Arrays (SSD), die einen sehr schnellen Zugriff zu höheren Kosten pro Speichereinheit bieten. Oder wir nutzen Cloud-Speicher, der an die Kapazität des Netzwerks und die verfügbare Internetverbindung gebunden ist. Auch die Datenproduzenten liegen oft außerhalb der Kontrolle der Streaming-Anwendung.

Unter internen Faktoren verstehen wir die Komplexität der implementierten Algorithmen, die der Anwendung zugewiesenen Ressourcen und die besondere Konfiguration, die vorgibt, wie sich die Anwendung verhalten muss.

In diesem Kapitel erarbeiten wir uns zunächst ein tieferes Verständnis für die Leistungsfaktoren von Spark Streaming. Dann geben wir einen Überblick über verschiedene Strategien, die du anwenden kannst, um die ...