Architektur von modernen Datenplattformen

Vorwort

Viele der Ideen, die dem Apache Hadoop-Projekt zugrunde liegen, sind Jahrzehnte alt. Wissenschaft und Industrie beschäftigen sich seit den 1960er Jahren mit der verteilten Speicherung und Berechnung von Daten. Die gesamte Technologiebranche ist aus der Nachfrage von Regierungen und Unternehmen nach Datenverarbeitung entstanden, und bei jedem Schritt auf diesem Weg erschienen die Daten den Menschen im Moment groß. Sogar einige der fortschrittlichsten und interessantesten Anwendungen reichen weit zurück: Maschinelles Lernen, eine Fähigkeit, die für viele Unternehmen neu ist, hat ihren Ursprung in der akademischen Forschung der 1950er Jahre und in der praktischen Systemarbeit der 1960er und 1970er Jahre.

Aber echte, praktische, nützliche, massiv skalierbare und zuverlässige Systeme konnten einfach nicht gefunden werden - zumindest nicht billig - bis Google sich in den späten 1990er und frühen 2000er Jahren dem Problem des Internets stellte. Das gesamte Internet zu erfassen, zu indizieren und zu analysieren, war mit der damals verfügbaren Technologie unmöglich.

Google entstaubte die jahrzehntelange Forschung an Großsystemen. Seine Architekten erkannten, dass die benötigten Computer und Netzwerke zum ersten Mal zu einem vernünftigen Preis zu haben waren.

Seine Arbeit am Google File System (GFS) für die Speicherung und am MapReduce-Framework für Berechnungen hat die Big-Data-Industrie begründet.

Diese Arbeit führte zur Gründung des Open-Source-Projekts Hadoop im Jahr 2005 durch ...