Architektur von modernen Datenplattformen

Kapitel 1. Fibel zur Big Data-Technologie

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Apache Hadoop ist ein eng integriertes Ökosystem aus verschiedenen Softwareprodukten, die für eine skalierbare und zuverlässige verteilte Speicherung und Verarbeitung sorgen. Die Inspiration für einen Großteil des Hadoop-Ökosystems war eine Reihe von Veröffentlichungen von Google in den 2000er Jahren, in denen Innovationen für Systeme zur zuverlässigen Speicherung (das Google File System), Verarbeitung (MapReduce, Pregel) und Abfragen mit geringer Latenz (Bigtable) auf Hunderten bis Tausenden von potenziell unzuverlässigen Servern beschrieben wurden. Für Google war die Entwicklung dieser Systeme in erster Linie eine Frage der Zweckmäßigkeit: Es gab damals einfach keine Technologien, die in der Lage waren, die riesigen Datenmengen, mit denen das Unternehmen zu tun hatte, zu speichern und zu verarbeiten. Der herkömmliche Ansatz für die Berechnung von Datenmengen bestand darin, in ein paar extrem leistungsstarke Server mit vielen Prozessoren und viel Arbeitsspeicher zu investieren, die Daten von einer Speicherebene (z. B. NAS oder SAN) einzuschleusen, eine Berechnung durchzuführen und die Ergebnisse zurück in die Speicherung zu schreiben. Als der Umfang der Daten zunahm, erwies sich dieser Ansatz als unpraktisch und teuer.

Die wichtigste Innovation, die sich bis heute bewährt hat, bestand darin, die Datensätze ...