Design Patterns für Machine Learning

Entwurfsmuster 25: Workflow-Pipeline

Im Entwurfsmuster Workflow-Pipeline gehen wir das Problem an, eine durchgängig reproduzierbare Pipeline zu erzeugen, indem die Schritte in unserem ML-Prozess containerisiert und orchestriert werden. Die Containerisierung lässt sich explizit bewerkstelligen oder mithilfe eines Frameworks, das den Vorgang vereinfacht.

Problem

Ein einzelner Data Scientist mag in der Lage sein, die Schritte von Datenaufbereitung, Training und Modellbereitstellung (dargestellt in Abbildung 6-6) von Anfang bis Ende mit einem einzigen Skript oder Notebook zu absolvieren. Wenn jedoch jeder Schritt in einem ML-Prozess komplexer wird und mehr Personen in einer Organisation an dieser Codebasis mitwirken wollen, lässt sich die Ausführung ...