Aufbau von Pipelines für maschinelles Lernen

Anhang C. Tipps für den Betrieb von Kubeflow-Pipelines

Wenn du deine TFX-Pipelines mit Kubeflow Pipelines betreibst, möchtest du vielleicht die zugrunde liegenden Container-Images deiner TFX-Komponenten anpassen. Benutzerdefinierte TFX-Images sind erforderlich, wenn deine Komponenten auf zusätzliche Python-Abhängigkeiten außerhalb der TensorFlow- und TFX-Pakete angewiesen sind. Im Fall unserer Demo-Pipeline haben wir eine zusätzliche Python-Abhängigkeit, die TensorFlow Hub-Bibliothek, für den Zugriff auf unser Sprachmodell.

In der zweiten Hälfte dieses Anhangs zeigen wir dir, wie du Daten von und zu deinem lokalen Computer und deinem persistenten Volume übertragen kannst. Die Einrichtung eines persistenten Volumens ist von Vorteil, wenn du über einen Cloud-Provider auf deine Daten zugreifen kannst (z. B. mit einem On-Premise-Kubernetes-Cluster). Die vorgestellten Schritte führen dich durch den Prozess des Kopierens von Daten zu und von deinem Cluster.

Benutzerdefinierte TFX-Bilder

In unserem Beispielprojekt verwenden wir ein Sprachmodell, das von TensorFlow Hub bereitgestellt wird. Wir verwenden die Bibliothek tensorflow_hub, um das Sprachmodell effizient zu laden. Diese spezielle Bibliothek ist nicht Teil des ursprünglichen TFX-Images; daher müssen wir ein eigenes TFX-Image mit der benötigten Bibliothek erstellen. Das ist auch der Fall, wenn du eigene Komponenten verwenden willst, wie die, die wir in Kapitel 10 besprochen haben.

Glücklicherweise können Docker-Images, wie in ...