Skalierung von Machine Learning mit Spark

Kapitel 3. Verwaltung des Lebenszyklus von Machine Learning Experimenten mit MLflow

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Maschinelles Lernen Die Entwicklung von maschinellem Lernen und Data Science erfolgt oft in Zusammenarbeit - aber die gemeinsame Erstellung von Modellen bei gleichzeitigem Experimentieren mit einer großen Kombination von Funktionen, Standardisierungstechniken und Hyperparametern ist ein komplexes Unterfangen. Das liegt zum Teil einfach daran, dass es eine komplexe Aufgabe ist, Experimente zu verfolgen, Ergebnisse zu reproduzieren, Modelle für den Einsatz zu verpacken und diese Modelle so zu speichern und zu verwalten, dass sie gut dokumentiert sind und die gewünschte Genauigkeit liefern.

Um diesen Prozess zu erleichtern, muss der Entwicklungsworkflow des maschinellen Lernens weiterentwickelt werden, damit er robuster, vorhersehbarer und standardisierter wird. Zu diesem Zweck haben viele Unternehmen begonnen, interne Plattformen für maschinelles Lernen aufzubauen, um den Lebenszyklus des maschinellen Lernens zu verwalten. Diese Plattformen unterstützen jedoch oft nur eine kleine Anzahl integrierter Algorithmen, die von der Infrastruktur des Unternehmens und der verfügbaren Software bestimmt werden, und sind aufgrund der zusätzlichen Komplexität nicht offen für die Unterstützung neuer Software. Außerdem sind diese Plattformen in der Regel nicht quelloffen, so dass ...