Der Enterprise Big Data Lake

Kapitel 5. Von Datenteichen/Big Data Warehouses zu Datenseen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Obwohl Data Warehouses bei ihrer Einführung vor mehr als drei Jahrzehnten als Mittel zur historischen Speicherung von Unternehmensdaten gedacht waren, die für alle Arten von neuen Analysen zur Verfügung stehen sollten, waren die meisten Data Warehouses am Ende nur Lagerstätten für Daten in Produktionsqualität, die nur für die wichtigsten Analysen verwendet wurden. Die meisten waren nicht in der Lage, die riesige Menge und Vielfalt der Daten zu verarbeiten, die sie enthielten. Einige besonders leistungsstarke Systeme wie Teradata boten zwar eine bewundernswerte Skalierbarkeit, aber zu sehr hohen Kosten. Es wurde viel Zeit und Mühe darauf verwendet, die Leistung der Data-Warehousing-Systeme zu optimieren. Daher musste jede Änderung - sei es eine neue Abfrage oder eine Schemaänderung - eine ausführliche architektonische Prüfung sowie einen langwierigen Genehmigungs- und Testprozess durchlaufen. Die ETL-Aufträge, mit denen das Data Warehouse geladen wurde, waren ebenso sorgfältig konstruiert und abgestimmt, und jede neue Datenmenge erforderte Änderungen an diesen Aufträgen und ein ähnlich aufwendiges Prüf- und Testverfahren. Dies verhinderte Ad-hoc-Abfragen und Schemaänderungen und führte dazu, dass Data Warehouses nicht flexibel genug waren.

Data Lakes versuchen, das ursprüngliche Versprechen ...