O'Reilly logo

Stay ahead with the world's most comprehensive technology and business learning platform.

With Safari, you learn the way you learn best. Get unlimited access to videos, live online training, learning paths, books, tutorials, and more.

Start Free Trial

No credit card required

Data Warehouse Technologien

Book Description

  • Architekturprinzipien von Data-Warehouse-Systemen
  • Datenstrukturen und Algorithmen
  • Anwendungsfeld Business Intelligence
Dieses Lehrbuch behandelt Konzepte und Techniken von Data-Warehouse-Systemen, die eine wesentliche Komponente in betrieblichen Entscheidungsprozessen darstellen. Im Mittelpunkt stehen dabei Architekturprinzipien sowie die Umsetzung des multidimensionalen Datenwürfels als zentrale Komponente des Data Warehouse. Die Zusammenführung der Daten aus verschiedenen betrieblichen und externen Quellen spielt eine ebenso wichtige Rolle wie Datenstrukturen und Algorithmen für die Realisierung von Speicher- und Indexstrukturen. Die Navigation im Datenwürfel und die Anfrageverarbeitung sowie Anwendungen aus dem Themenfeld Business Intelligence geben einen Einblick in den Umgang mit dem Data Warehouse.Detailliert werden sowohl der Aufbau als auch die Nutzung von Data-Warehouse-Systemen beleuchtet. Dabei stehen Modellierungskonzepte und die Thematik der multidimensionalen Anfragen im Vordergrund. Zudem werden Interna wichtiger Systemlösungen von Oracle, IBM und Microsoft anhand zahlreicher Beispiele erläutert.Das Buch fokussiert auf relationale Umsetzungsstrategien des Data Warehouse. Es ist daher empfehlenswert, sich ebenfalls mit den Grundlagenwerken Datenbanken – Konzepte und Sprachen sowie Datenbanken – Implementierungstechniken auseinanderzusetzen; sie erlauben es dem Leser, die Konzepte aus Datenbanken für das Data Warehouse leichter zu transferieren. Das Buch ist geeignet für Studierende der Informatik oder verwandter Fächer im Masterbereich und bietet gleichzeitig auch dem Anwender bzw. Entwickler vertiefende Hintergrundinformationen zu aktuellen Data-Warehouse-Technologien.Die Autoren lehren und forschen im Bereich Datenbanken und Informationssysteme sowie Business Intelligence – Veit Köppen und Gunter Saake an der Universität Magdeburg und Kai-Uwe Sattler an der TU Ilmenau.
    Aus dem Inhalt:
  • Data Warehousing
  • Architekturkonzepte
  • Extraktion, Transformation und Laden
  • Datenqualität
  • Business Intelligence
  • Modellierung
  • Multidimensionales Modell
  • Relationale Umsetzung
  • Star- und Snowflake-Schema
  • Slowly Changing Dimensions
  • Speicher- und Indexstrukturen
  • ROLAP und MOLAP
  • Partitionierung
  • Row Stores, Column Stores und In-MemoryBitmap-Indexe
  • Mehrdimensionale Indexstrukturen
  • Data Warehouse:Anfragen und Verarbeitung
  • OLAP-Anfrage-operatoren
  • SQL-Operatoren im Data Warehouse
  • Anfrageplanung
  • Materialisierte Sichten

Table of Contents

  1. Cover
  2. Titel
  3. Impressum
  4. Inhaltsverzeichnis (1/2)
  5. Inhaltsverzeichnis (2/2)
  6. 1 Einführung in Data-Warehouse-Systeme
    1. 1.1 Anwendungsszenario Getränkemarkt
    2. 1.2 OLTP versus OLAP
      1. 1.2.1 OLAP- versus OLTP-Transaktionen
      2. 1.2.2 Vergleich von OLTP und OLAP
      3. 1.2.3 Abgrenzung: DBMS-Techniken
    3. 1.3 Charakteristika und Begriffe
    4. 1.4 Big Data und Data Warehousing
    5. 1.5 Aufbau des Buches
    6. 1.6 Vertiefende Literatur
    7. 1.7 Übungen
  7. 2 Architektur
    1. 2.1 Anforderungen
      1. 2.1.1 Grobe Übersicht über Data-Warehouse-Systeme
      2. 2.1.2 Anforderungen an die Architektur
      3. 2.1.3 Die 12 OLAP-Regeln nach Codd
      4. 2.1.4 Die FASMI-Anforderungen
    2. 2.2 Datenfluss in einem Data-Warehouse-System
      1. 2.2.1 Phasen des Data Warehousing
      2. 2.2.2 Datenquellen
      3. 2.2.3 Datenbereinigungsbereich
      4. 2.2.4 Extraktionskomponenten
      5. 2.2.5 Transformationskomponenten
      6. 2.2.6 Ladekomponente
      7. 2.2.7 Basisdatenbank
      8. 2.2.8 Befüllen
      9. 2.2.9 Der Datenwürfel
      10. 2.2.10 Data Marts
      11. 2.2.11 Das Data Warehouse
    3. 2.3 Referenzarchitektur
      1. 2.3.1 Data-Warehouse-Manager
      2. 2.3.2 Monitore
      3. 2.3.3 Repository
      4. 2.3.4 Metadaten-Manager
      5. 2.3.5 Diskussion der kompletten Referenzarchitektur
    4. 2.4 Architektur des Data Warehouse
      1. 2.4.1 Rolle der Data Marts
      2. 2.4.2 Abhängige Data Marts: Nabe und Speiche
      3. 2.4.3 Unabhängige Data Marts
      4. 2.4.4 Föderierte und virtuelle Datenwürfel
      5. 2.4.5 Data-Warehouse-Architektur in der Praxis
      6. 2.4.6 Ein Multi-Schichten-Architekturansatz
    5. 2.5 Vertiefende Literatur
    6. 2.6 Übungen
  8. 3 Modellierung von Data Warehouses
    1. 3.1 Das multidimensionale Datenmodell
      1. 3.1.1 Grundbegriffe
      2. 3.1.2 Dimensionen
      3. 3.1.3 Fakten und Kennzahlen
      4. 3.1.4 Schema des multidimensionalen Datenwürfels
    2. 3.2 Konzeptuelle Modellierung
      1. 3.2.1 Das ME/R-Modell
      2. 3.2.2 ADAPT
    3. 3.3 Relationale Umsetzung
      1. 3.3.1 Prinzip der relationalen Abbildung
      2. 3.3.2 Snowflake-Schema
      3. 3.3.3 Star-Schema
      4. 3.3.4 Vergleich von Snowflake- und Star-Schema
      5. 3.3.5 Fact-Constellation-Schema und Galaxie-Schema
      6. 3.3.6 Alternative Modellierung von Klassifikationshierarchien
      7. 3.3.7 Vermeidung von Semantikverlusten
    4. 3.4 Slowly Changing Dimensions
      1. 3.4.1 Berichtsanforderungen im Data Warehouse
      2. 3.4.2 Typdefinitionen nach Kimball
      3. 3.4.3 Realisierungen im Data Warehouse
    5. 3.5 Vertiefende Literatur
    6. 3.6 Übungen
  9. 4 Extraktions-, Transformations- und Ladeprozess
    1. 4.1 Qualitätsaspekte
      1. 4.1.1 Der Datenbereinigungsprozess
      2. 4.1.2 Duplikaterkennung
      3. 4.1.3 Vergleichsfunktionen (1/2)
      4. 4.1.3 Vergleichsfunktionen (2/2)
      5. 4.1.4 Beheben von Datenkonflikten
    2. 4.2 Der ETL-Prozess
    3. 4.3 Die Extraktionsphase
      1. 4.3.1 Extraktionstechniken
      2. 4.3.2 Methode des Differential Snapshot
    4. 4.4 Die Transformationsphase
      1. 4.4.1 Daten- und Schemakonflikte
      2. 4.4.2 Mappings im Transformationsschritt
    5. 4.5 Die Ladephase
      1. 4.5.1 Verwendung des Oracle SQL-Loader
      2. 4.5.2 Multi-Table-Insert
    6. 4.6 Alternativer Ansatz: ELT
    7. 4.7 Vertiefende Literatur
    8. 4.8 Übungen
  10. 5 Anfragen an Data-Warehouse-Datenbanken
    1. 5.1 Einführung und Anforderungen
    2. 5.2 OLAP-Operationen
    3. 5.3 SQL-Operationen für das Data Warehouse
      1. 5.3.1 Relationale Umsetzung multidimensionaler Anfragen
      2. 5.3.2 CUBE und ROLLUP
      3. 5.3.3 OLAP-Funktionen in SQL:2003 (1/2)
      4. 5.3.3 OLAP-Funktionen in SQL:2003 (2/2)
    4. 5.4 MDX (1/2)
    5. 5.4 MDX (2/2)
    6. 5.5 Vertiefende Literatur
    7. 5.6 Übungen
  11. 6 Speicherung
    1. 6.1 Speicherung des Datenwürfels: Array vs. Relationen
      1. 6.1.1 Relationale Implementierung – ROLAP
      2. 6.1.2 Implementierung als Array – MOLAP
      3. 6.1.3 Vergleich ROLAP und MOLAP-Speicherung
      4. 6.1.4 Hybride Speicherung – HOLAP
      5. 6.1.5 Alternative Speicherungsformen
    2. 6.2 Partitionierung
      1. 6.2.1 Partitionierung in relationalen Datenbanken
      2. 6.2.2 Partitionierung in Data Warehouses
      3. 6.2.3 Partitionierung von Datenwürfeln
    3. 6.3 Spaltenorientierte Datenhaltung
      1. 6.3.1 Basisideen der spaltenorientierten Datenhaltung
      2. 6.3.2 Operationen und Anfragen in spaltenorientierter Datenhaltung
      3. 6.3.3 Speichervarianten in spaltenorientierter Datenhaltung (1/2)
      4. 6.3.3 Speichervarianten in spaltenorientierter Datenhaltung (2/2)
    4. 6.4 Hauptspeicherdatenbanken
      1. 6.4.1 Was sind Hauptspeicherdatenbanken?
      2. 6.4.2 Technologien aktueller Hauptspeicherdatenbanken
      3. 6.4.3 Komprimierung von Daten
      4. 6.4.4 Delta-Relationen
    5. 6.5 Vertiefende Literatur
    6. 6.6 Übungen
  12. 7 Indexstrukturen
    1. 7.1 Klassifikation von Indexstrukturen
    2. 7.2 B-Bäume und Varianten
      1. 7.2.1 Der B+-Baum
      2. 7.2.2 Degenerierte B-Bäume
      3. 7.2.3 Ordnungsabhängigkeit in B-Bäumen
      4. 7.2.4 B+-Baum-Tricks: Oversized Index
      5. 7.2.5 B+-Baum-Tricks: Berechnete Indexe
    3. 7.3 Bitmap-Indexe
      1. 7.3.1 Prinzip von Bitmap-Indexen
      2. 7.3.2 Bitmap-Index: Realisierung
      3. 7.3.3 Standard-Bitmap-Index
      4. 7.3.4 Mehrkomponenten-Bitmap-Index
      5. 7.3.5 Bereichskodierter Bitmap-Index
      6. 7.3.6 Mehrkomponenten-bereichskodierter Bitmap-Index
      7. 7.3.7 Intervallkodierte Indexierung
      8. 7.3.8 Auswahl von Bitmap-Indexstrukturen
    4. 7.4 Verbundindexe
      1. 7.4.1 Prinzip des Verbundindex
      2. 7.4.2 Bitmap-Verbundindex
    5. 7.5 Mehrdimensionale Indexstrukturen
      1. 7.5.1 Grid-File
      2. 7.5.2 Mehrdimensionales Hashen MDH
      3. 7.5.3 KdB-Baum
      4. 7.5.4 R-Bäume
      5. 7.5.5 Varianten von R-Bäumen
      6. 7.5.6 Der UB-Baum
    6. 7.6 Indexierung von Hierarchien
      1. 7.6.1 Kodierung von Hierarchien
      2. 7.6.2 Mehrdimensionales hierarchisches Clustering
    7. 7.7 Vertiefende Literatur
    8. 7.8 Übungen
  13. 8 Anfrageverarbeitung und materialisierte Sichten
    1. 8.1 Anfrageplanung
      1. 8.1.1 Überblick
      2. 8.1.2 Star-Join-Optimierung
    2. 8.2 Berechnung des CUBE-Operators
    3. 8.3 Materialisierte Sichten
      1. 8.3.1 Anfragebeantwortung mit materialisierten Sichten (1/2)
      2. 8.3.1 Anfragebeantwortung mit materialisierten Sichten (2/2)
      3. 8.3.2 Auswahl materialisierter Sichten
      4. 8.3.3 Aktualisierung materialisierter Sichten
      5. 8.3.4 Materialisierte Sichten in aktuellen DBMS
    4. 8.4 Vertiefende Literatur
    5. 8.5 Übungen
  14. 9 Business-Intelligence-Anwendungen
    1. 9.1 Business Intelligence
      1. 9.1.1 Begriffsklärung
      2. 9.1.2 Knowledge Discovery
      3. 9.1.3 Datenanalyse
    2. 9.2 Reporting
      1. 9.2.1 Balanced Scorecard
      2. 9.2.2 Navigation im Datenwürfel für Ad-hoc-Reporting
    3. 9.3 Data Mining im BI-Umfeld
      1. 9.3.1 Warenkorbanalyse (1/2)
      2. 9.3.1 Warenkorbanalyse (2/2)
      3. 9.3.2 Kunden-Clustering
      4. 9.3.3 Klassifikationsverfahren
      5. 9.3.4 Zeitreihenanalyse & Prognose
      6. 9.3.5 Data Mining Extensions
    4. 9.4 Vertiefende Literatur
    5. 9.5 Übungen
  15. Abbildungsverzeichnis (1/2)
  16. Abbildungsverzeichnis (2/2)
  17. Tabellenverzeichnis
  18. Sachindex (1/2)
  19. Sachindex (2/2)
  20. Literaturverzeichnis (1/4)
  21. Literaturverzeichnis (2/4)
  22. Literaturverzeichnis (3/4)
  23. Literaturverzeichnis (4/4)