Kapitel 7: Batch-Layer: Praxis

In diesem Kapitel geht es um folgende Themen:

  • Ursachen der Komplexität bei Daten verarbeitendem Code

  • JCascalog zur Implementierung von Pipe-Diagrammen verwenden

  • Techniken zur Abstrahierung und Zusammenstellung bei der Verarbeitung von Daten

Im vorangegangenen Kapitel haben Sie erfahren, wie Pipe-Diagramme auf kompakte und natürliche Weise zur Beschreibung von Berechnungen genutzt werden, die große Datenmengen verarbeiten. Pipe-Diagramme können in eine Reihe von MapReduce-Jobs umgesetzt werden, um so sowohl Parallelisierung als auch Skalierbarkeit zu erzielen.

In diesem Praxis-Kapitel betrachten wir ein Tool, das ziemlich direkt auf Pipe-Diagramme abgestimmt ist: JCascalog. Und weil es zu diesem Thema ...

Get Big Data - Entwicklung und Programmierung von Systemen für große Datenmengen und Einsatz der Lambda-Architektur now with the O’Reilly learning platform.

O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.

Start your free trial