Capítulo 2. Patrones de diseño de la ingestión de datos
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
Los sistemas de ingeniería de datos rara vez son generadores de datos. Más a menudo, su primera etapa es la adquisición de datos de varios productores de datos. Trabajar con estos productores no es fácil; pueden ser diferentes conductos dentro de tu equipo, diferentes equipos dentro de tu empresa, o incluso organizaciones completamente diferentes. Como cada productor tiene limitaciones específicas heredadas de entornos técnicos y empresariales, interactuar con ellos puede suponerte un reto.
Pero no tienes elección. Tienes que adaptarte. De lo contrario, no obtendrás ningún dato, y como resultado, no alimentarás tus cargas de trabajo de análisis o ciencia de datos. O peor aún, obtendrás algunos datos, los compartirás con tus consumidores intermedios, y unos días después, recibirás algunas quejas. Pueden ser sobre un conjunto de datos incompleto, una organización de datos ineficaz, o datos completamente rotos que requieren procesos internos de restauración y backfilling.
Como puedes ver a estas alturas, introducir datos en tu sistema es una tarea clave para mejorar tu vida y la de tus usuarios. Por eso, este libro tiene que empezar cubriendo los patrones de diseño de la ingestión de datos.
Los patrones presentados en este capítulo abordan escenarios y retos a los que puedes enfrentarte al integrar datos de proveedores ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access