Construir Pipelines de Aprendizaje Automático

Capítulo 11. Pipelines Parte 1: Apache Beam y Apache Airflow

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

En los capítulos anteriores, presentamos todos los componentes necesarios para construir una canalización de aprendizaje automático utilizando TFX. En este capítulo, reuniremos todos los componentes y mostraremos cómo ejecutar el canal completo con dos orquestadores: Apache Beam y Apache Airflow. En el Capítulo 12, también mostraremos cómo ejecutar el canal con Kubeflow Pipelines. Todas estas herramientas siguen principios similares, pero mostraremos cómo difieren los detalles y proporcionaremos código de ejemplo para cada una de ellas.

Como ya comentamos en el Capítulo 1, la herramienta de orquestación de canalizaciones es vital para abstraer el código cola que, de otro modo, tendríamos que escribir para automatizar una canalización de aprendizaje automático. Como se muestra en la Figura 11-1, los orquestadores de canalizaciones se sitúan debajo de los componentes que ya hemos mencionado en capítulos anteriores. Sin una de estas herramientas de orquestación, tendríamos que escribir código que compruebe cuándo ha terminado un componente, inicie el siguiente, programe las ejecuciones de la canalización, etc. Afortunadamente, ¡todo este código ya existe en forma de estos orquestadores!

Figura 11-1. Orquestadores ...