97 Dinge, die jeder Dateningenieur wissen sollte

Kapitel 80. Das Yin und Yang der Skalierbarkeit von Big Data

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Paul Brebner

Chief Technology Evangelist, Instaclustr.com

Moderne Big-Data-Technologien wie Apache Cassandra und Apache Kafka erreichen eine enorme Skalierbarkeit, indem sie Cluster mit vielen Knoten (Servern) verwenden, um eine horizontale Skalierbarkeit zu erreichen . Die horizontale Skalierung funktioniert, indem die Arbeitslasten auf alle Knoten in einem Cluster verteilt werden, indem die Daten so partitioniert werden, dass jeder Knoten eine Teilmenge der Daten hat, so dass der Durchsatz durch einfaches Hinzufügen weiterer Knoten erhöht werden kann und die Daten auf mehr als einem Knoten repliziert werden, um Zuverlässigkeit, Verfügbarkeit und Dauerhaftigkeit zu gewährleisten.

Da Cassandra und Kafka von Haus aus skalierbar sind, sind sie beliebte Open-Source-Lösungen, um Anwendungen mit niedriger Latenz, hohem Durchsatz und großem Datenvolumen zu betreiben, die sich leicht skalieren lassen. Wir haben vor kurzem eine Demonstrationsanwendung zur Erkennung von Anomalien mit Cassandra für die Speicherung, Kafka für die Streaming-Ebene und Kubernetes für die Anwendungsskalierung entwickelt, getestet und skaliert. Die folgende Abbildung zeigt das Anwendungsdesign, die Cluster und die "Knöpfe" ...