Apéndice C. Consejos para el funcionamiento de las tuberías Kubeflow

Cuando operes tus pipelines TFX de con Kubeflow Pipelines, es posible que quieras personalizar las imágenes de contenedor subyacentes de tus componentes TFX. Las imágenes TFX personalizadas son necesarias si tus componentes dependen de dependencias adicionales de Python fuera de los paquetes TensorFlow y TFX. En el caso de nuestro pipeline de demostración, tenemos una dependencia adicional de Python, la biblioteca TensorFlow Hub, para acceder a nuestro modelo de lenguaje.

En la segunda mitad de este apéndice, queremos mostrarte cómo transferir datos hacia y desde tu ordenador local y tu volumen persistente. La configuración del volumen persistente es beneficiosa si puedes acceder a tus datos a través de un proveedor de almacenamiento en la nube (por ejemplo, con un clúster Kubernetes local). Los pasos presentados te guiarán a través del proceso de copia de datos hacia y desde tu clúster.

Imágenes TFX personalizadas

En nuestro proyecto de ejemplo, utilizamos un modelo de lenguaje proporcionado por TensorFlow Hub. Utilizamos la biblioteca tensorflow_hub para cargar el modelo de lenguaje de forma eficiente. Esta biblioteca en concreto no forma parte de la imagen TFX original; por lo tanto, tenemos que crear una imagen TFX personalizada con la biblioteca necesaria. Éste también es el caso si piensas utilizar componentes personalizados como los que comentamos en el Capítulo 10.

Afortunadamente, como comentamos en ...

Get Construir Pipelines de Aprendizaje Automático now with the O’Reilly learning platform.

O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.