Handbuch Data Engineering

KAPITEL 7

Ingestion

Sie haben die verschiedenen Quellsysteme kennengelernt, denen Sie als Data Engineer begegnen können, und Sie wissen, wie Sie Daten speichern. Wenden wir uns nun den Verfahren und Entscheidungen zu, die für die Ingestion von Daten aus verschiedenen Quellsystemen gelten. Dieses Kapitel befasst sich mit der Dateningestion (siehe Abbildung 7-1), den wichtigsten technischen Überlegungen für die Ingestionsphase, den Methoden für die Batch- und Streaming-Ingestion, den Technologien, die Ihnen begegnen werden, den Personen, mit denen Sie bei der Entwicklung Ihrer Pipeline für die Dateningestion zusammenarbeiten werden, und der Bedeutung der Unterströmungen für die Ingestionsphase.

Abbildung 7-1: Um mit der Datenverarbeitung beginnen ...