Aufbau von Pipelines für maschinelles Lernen

Kapitel 11. Pipelines Teil 1: Apache Beam und Apache Airflow

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

In den vorangegangenen Kapiteln haben wir alle notwendigen Komponenten vorgestellt, um eine Pipeline für maschinelles Lernen mit TFX aufzubauen. In diesem Kapitel fügen wir alle Komponenten zusammen und zeigen, wie wir die komplette Pipeline mit zwei Orchestrierern betreiben: Apache Beam und Apache Airflow. In Kapitel 12 zeigen wir außerdem, wie die Pipeline mit Kubeflow Pipelines ausgeführt werden kann. Alle diese Tools folgen ähnlichen Prinzipien, aber wir zeigen, wie sie sich im Detail unterscheiden, und stellen jeweils Beispielcode zur Verfügung.

Wie wir in Kapitel 1 besprochen haben, ist das Pipeline-Orchestrierungstool unerlässlich, um den Glue-Code zu abstrahieren, den wir sonst schreiben müssten, um eine Machine-Learning-Pipeline zu automatisieren. Wie in Abbildung 11-1 dargestellt, sitzen die Pipeline-Orchestratoren unter den Komponenten, die wir bereits in den vorherigen Kapiteln erwähnt haben. Ohne eines dieser Orchestrierungstools müssten wir Code schreiben, der überprüft, wann eine Komponente fertig ist, die nächste Komponente startet, die Durchläufe der Pipeline plant und so weiter. Zum Glück gibt es all diesen Code bereits in Form dieser Orchestratoren!

Abbildung 11-1. ...