Capítulo 3. Orquestación de datos
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
Aunque ya hemos hablado de la ingestión(E, L) y la transformación(T), sólo hemos arañado la superficie de la ETL. En contraposición a la visión de los conductos de datos como una serie de pasos discretos, existen mecanismos globales que operan en un metanivel, acertadamente denominados "corrientes subterráneas" por Matt Housley y Joe Reis en Fundamentos de la Ingeniería de Datos:
-
Seguridad
-
Gestión de datos
-
Operaciones de datos (DataOps)
-
Arquitectura de datos
-
Orquestación de datos
-
Ingeniería de software
En este capítulo, exploraremos la gestión de dependencias y la orquestación de canalizaciones, tocando la historia de los orquestadores, que es importante para entender por qué ciertos métodos de orquestación son populares hoy en día. Presentaremos un menú de opciones para que puedas orquestar tus propios flujos de trabajo de datos y discutiremos algunos patrones de diseño habituales en la orquestación.
A lo largo de este artículo se debatirá cómo un "orquestador" ha estado históricamente separado de una herramienta de "transformación". Explicaremos por qué esto ha sido así y por qué podría no ser lo en el futuro, aunque seguimos creyendo que un orquestador independiente es el enfoque preferible.
¿Qué es la orquestación de datos?
Todo flujo de trabajo, de datos o no, requiere pasos secuenciales: intentar utilizar una ...
Get Entender el ETL now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
