Book description
Techniken und Best Practices für Datensysteme
- Einführung in Big-Data-Systeme
- Echtzeitverarbeitung sehr großer Datenmengen
- Tools wie Hadoop, Cassandra und Storm
Bei Anwendungen in der Größenordnung von sozialen Netzwerken, der Datenverkehrsanalyse in Echtzeit oder E-Commerce-Websites entstehen sehr schnell so große Datenmengen, dass herkömmliche Datenbanksysteme ihnen nicht mehr gewachsen sind. Solche Anwendungen erfordern Architekturen, die dafür ausgelegt sind, Datenmengen nahezu beliebigen Umfangs zu speichern und zu verarbeiten.
Dieses Buch erklärt die Einrichtung solcher Datenhaltungssysteme anhand einer speziell für große Datenmengen ausgelegten Architektur. Der Autor erläutert die Theorie von Big-Data-Systemen und zeigt, wie der Leser dies in die Praxis umsetzen kann. Darüber hinaus werden Technologien wie Hadoop, Storm und NoSQL-Datenbanken eingeführt.
Table of contents
- Impressum
- Vorwort
- Danksagungen
- Über dieses Buch
-
Kapitel 1: Ein neues Paradigma für Big Data
- 1.1 Aufbau des Buches
- 1.2 Skalierung mit einer herkömmlichen Datenbank
- 1.3 NoSQL ist kein Allheilmittel
- 1.4 Grundlagen
- 1.5 Erwünschte Eigenschaften eines Big-Data-Systems
- 1.6 Schwierigkeiten vollständig inkrementeller Architekturen
- 1.7 Lambda-Architektur
- 1.8 Die neuesten Trends
- 1.9 Beispielanwendung: SuperWebAnalytics.com
- 1.10 Zusammenfassung
- Teil I: Batch-Layer
- Kapitel 2: Das Datenmodell für Big Data
- Kapitel 3: Das Datenmodell für Big Data: Praxis
-
Kapitel 4: Datenspeicherung im Batch-Layer
- 4.1 Speicheranforderungen des Stammdatensatzes
- 4.2 Auswahl einer Speicherlösung für den Batch-Layer
- 4.3 Funktionsweise verteilter Dateisysteme
- 4.4 Speichern des Stammdatensatzes mit einem verteilten Dateisystem
- 4.5 Vertikale Partitionierung
- 4.6 Verteilte Dateisysteme sind maschinennah
- 4.7 Speichern des SuperWebAnalytics.com-Stammdatensatzes in einem verteiltem Dateisystem
- 4.8 Zusammenfassung
- Kapitel 5: Datenspeicherung im Batch-Layer: Praxis
-
Kapitel 6: Batch-Layer
- 6.1 Beispiele
- 6.2 Berechnungen im Batch-Layer
- 6.3 Neuberechnungsalgorithmen kontra inkrementelle Algorithmen
- 6.4 Skalierbarkeit im Batch-Layer
- 6.5 MapReduce: Ein Paradigma für Big-Data-Berechnungen
- 6.6 Maschinennähe
- 6.7 Pipe-Diagramme: Eine allgemeinere Auffassung von Stapelverarbeitungsberechnungen
- 6.8 Zusammenfassung
- Kapitel 7: Batch-Layer: Praxis
- Kapitel 8: Beispiel eines Batch-Layers: Architektur und Algorithmen
- Kapitel 9: Beispiel eines Batch-Layers: Implementierung
- Teil II: Serving-Layer
-
Kapitel 10: Serving-Layer
- 10.1 Performancekennzahlen des Serving-Layers
- 10.2 Lösung des Problems »Normalisierung kontra Denormalisierung« durch den Serving-Layer
- 10.3 Anforderungen an eine Datenbank für den Serving-Layer
- 10.4 Gestaltung eines Serving-Layers für SuperWebAnalytics.com
- 10.5 Vergleich mit einer vollständig inkrementellen Lösung
- 10.6 Zusammenfassung
- Kapitel 11: Serving-Layer: Praxis
- Teil III: Speed-Layer
- Kapitel 12: Echtzeit-Views
- Kapitel 13: Echtzeit-Views: Praxis
- Kapitel 14: Warteschlangen und Streamverarbeitung
- Kapitel 15: Warteschlangen und Streamverarbeitung: Praxis
-
Kapitel 16: Streamverarbeitung kleiner Stapel
- 16.1 Genau einmalige Verarbeitung
- 16.2 Grundlegende Konzepte der Streamverarbeitung kleiner Stapel
- 16.3 Erweiterte Pipe-Diagramme zur Beschreibung der Streamverarbeitung kleiner Stapel
- 16.4 Fertigstellung des Speed-Layers für SuperWebAnalytics.com
- 16.5 Eine weitere Methode zur Berechnung der Bounce-Rate
- 16.6 Zusammenfassung
- Kapitel 17: Streamverarbeitung kleiner Stapel: Praxis
- Kapitel 18: Die Lambda-Architektur im Detail
Product information
- Title: Big Data - Entwicklung und Programmierung von Systemen für große Datenmengen und Einsatz der Lambda-Architektur
- Author(s):
- Release date: September 2016
- Publisher(s): mitp Verlag
- ISBN: 9783958451773
You might also like
book
Der Java-Profi: Persistenzlösungen und REST-Services
• Erweiterung des Java-Profis für Datenbankprogrammierung• Erfolgsautor Michael Inden• Professionelle Entwicklung von Datenbankanwendungen
book
Statistik mit R Schnelleinstieg -- R einfach lernen in 14 Tagen
Alle Grundlagen für den Einsatz von R in Studium und Praxis Die gängigsten Datenvisualisierungen und Datenanalyseverfahren …
book
Mikrocontroller – Der Leitfaden für Maker
Die ersten sechs Kapitel beschäftigen sich mit den grundlegenden Themen: Mikrocontrollerfamilien, Minicomputersysteme, E/A-Einheiten, Energieversorgung und Funksysteme. …
book
Datenanalyse von Kopf bis Fuß
Natürlich kann man Geschäftsentscheidungen aus unternehmerischem Instinkt treffen. In der Regel ist es aber doch sehr …