Big Data - Entwicklung und Programmierung von Systemen für große Datenmengen und Einsatz der Lambda-Architektur

Kapitel 18: Die Lambda-Architektur im Detail

In diesem Kapitel geht es um folgende Themen:

• Ein zweiter Blick auf die Lambda-Architektur

• Inkrementelle Stapelverarbeitung

• Effiziente Verwaltung von Ressourcen bei Workflows durch Stapelverarbeitung

• Verknüpfung der Programmlogik von Batch- und Echtzeit-Views

In Kapitel 1 haben wir die Lambda-Architektur und ihren allgemeingültigen Ansatz zur Implementierung von Datenhaltungssystemen vorgestellt. Und in den darauffolgenden Kapiteln sind wir dann auf die Details der verschiedenen Bestandteile der Lambda-Architektur eingegangen. Sie haben erfahren, dass mit der Einrichtung nicht nur skalierbarer, sondern auch robuster und gut verständlicher Big-Data-Systeme eine Menge Aufwand verbunden ...