Capítulo 7. Orquestar canalizaciones
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
Los capítulos anteriores han descrito los bloques de construcción de los conductos de datos, incluida la ingestión de datos, la transformación de datos y los pasos de un conducto de aprendizaje automático. Este capítulo trata de cómo "orquestar", o unir, esos bloques o pasos.
La orquestación garantiza que los pasos de una canalización se ejecuten en el orden correcto y que las dependencias entre pasos se gestionen adecuadamente.
Cuando presenté el reto de orquestar canalizaciones en el Capítulo 2, también introduje el concepto de plataformas de orquestación de flujos de trabajo (también denominadas sistemas de gestión de flujos de trabajo (SGT ), plataformas de orquestación o marcos de orquestación). En este capítulo, destacaré Apache Airflow, que es uno de los marcos de este tipo más populares. Aunque la mayor parte del capítulo está dedicada a ejemplos en Airflow, los conceptos también son transferibles a otros marcos. De hecho, más adelante en el capítulo señalo algunas alternativas a Airflow.
Por último, las secciones posteriores de este capítulo tratan algunos conceptos más avanzados de la orquestación de canalizaciones, incluida la coordinación de múltiples canalizaciones en tu infraestructura de datos.
Grafos acíclicos dirigidos
Aunque ya presenté los DAG en el Capítulo 2, merece la pena repetir qué son. Este capítulo ...
Get Referencia de bolsillo sobre canalizaciones de datos now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
