Kubeflow para el aprendizaje automático

Capítulo 6. Almacén de Artefactos y Metadatos

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

El aprendizaje automático suele implicar tratar con una gran cantidad de datos brutos e intermedios (transformados) cuyo objetivo final es la creación e implementación del modelo. Para comprender nuestro modelo es necesario poder explorar los conjuntos de datos utilizados para su creación y transformaciones (linaje de datos). La colección de estos conjuntos de datos y la transformación que se les ha aplicado se denominan metadatos de nuestro modelo.¹

Los metadatos del modelo son fundamentales para la reproducibilidad en el aprendizaje automático ;² la reproducibilidad es crítica para las Implementaciones de producción fiables. Capturar los metadatos nos permite comprender las variaciones al volver a ejecutar trabajos o experimentos. Comprender las variaciones es necesario para desarrollar y mejorar iterativamente nuestros modelos. También proporciona una base sólida para la comparación de modelos. Como lo definió Pete Warden en este post

Para reproducir los resultados, es necesario registrar con precisión el código, los datos de entrenamiento y la plataforma en general.

La misma información también es necesaria para otras operaciones habituales de ML: comparación de modelos, creación de modelos reproducibles, etc.

Hay muchas opciones diferentes para rastrear los metadatos de los modelos. Kubeflow tiene una herramienta ...