Architektur von modernen Datenplattformen

Kapitel 3. Datenverarbeitung und Speicherung

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Obwohl es durchaus möglich ist, eine Maschine zu benutzen, ohne ihr Innenleben zu verstehen, sollte ein Praktiker zumindest ein wenig von ihrer Funktionsweise verstehen, um die besten Ergebnisse zu erzielen.Nur dann kann der Benutzer die Maschine mit dem bedienen, was Jackie Stewart "mechanische Sympathie" nannte . Dieses Prinzip gilt vor allem dann, wenn die Maschine aus vielen kleineren Maschinen besteht, die zusammenarbeiten, und jede kleinere Maschine aus vielen Unterkomponenten besteht.Genau das ist ein Hadoop-Cluster: eine Reihe von verteilten Softwarebibliotheken, die für den Betrieb auf vielen Servern entwickelt wurden, wobei jeder Server aus einer Reihe von Komponenten für die Berechnung, Speicherung und Kommunikation besteht. In diesem Kapitel werfen wir einen kurzen Blick darauf, wie diese kleineren Maschinen funktionieren.

Wir beginnen mit wichtigen Details zur Computerarchitektur und zum Linux-Betriebssystem, sprechen dann über verschiedene Servergrößen und schließlich darüber, wie diese verschiedenen Servertypen zu Standardclusterkonfigurationen kombiniert werden können.

Du musst dir wahrscheinlich nicht alle Details in diesem Kapitel merken, aber das Verständnis der Grundlagen, wie Hadoop mit den Maschinen, auf denen es läuft, interagiert, ist von unschätzbarem Wert für deine Aufgabe, felsenfeste ...