Patrones de diseño de ingeniería de datos

Apéndice. Resumen de patrones

Es poco probable que trabajes con todos los patrones a la vez. Te enfrentarás a diferentes patrones en diferentes momentos a lo largo de tu viaje por la ingeniería de datos, por lo que no es necesario que los recuerdes todos de memoria. En lugar de eso, deberías ser capaz de encontrarlos fácilmente y adaptarlos al problema al que te enfrentes en ese momento.

Para facilitarte esta tarea, aquí encontrarás un resumen de los patrones de diseño presentados en el libro, con recordatorios rápidos de sus principales casos de uso y gotchas.

Patrones de diseño de ingestión de datos

Nombre del patrón	Caso práctico	Gotchas
Cargador completo	Cargar el conjunto de datos completo	Aumento del volumen de datos para conjuntos de datos crecientes Coherencia de los datos durante el proceso de carga
Cargador incremental	Cargar trozos de un conjunto de datos	Cargar filas borradas físicamente Volumen de datos cargados durante un relleno
Captura de datos de cambios	Carga trozos de un conjunto de datos a medida que llegan	Complejidad de la configuración (capa de base de datos) Cambia el alcance, en general o sólo después de la configuración Los datos permanecen en reposo
Replicador de paso	Replicar un conjunto de datos sin alterar ninguna información	Efectos secundarios de serialización, como fechas mal formateadas Aislamiento de los medios de producción Datos PII Impacto en la latencia si se automatiza a través de la infraestructura Metadatos ...