book

Referencia de bolsillo sobre canalizaciones de datos

by James Densmore

September 2024

Intermediate to advanced

276 pages

5h 32m

Spanish

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

A quién va dirigido este libroConvenciones utilizadas en este libroUtilizar ejemplos de códigoAprendizaje en línea O'ReillyCómo contactar con nosotrosAgradecimientos
¿Qué son las canalizaciones de datos?¿Quién construye canalizaciones de datos?Fundamentos de SQL y Almacenamiento de DatosPython y/o JavaInformática distribuidaAdministración básica del sistemaUna mentalidad orientada a los objetivos¿Por qué construir canalizaciones de datos?¿Cómo se construyen las tuberías?
Diversidad de fuentes de datosPropiedad del sistema fuenteInterfaz de ingestión y estructura de datosVolumen de datosLimpieza y validez de los datosLatencia y ancho de banda del sistema de origenAlmacenes de datos en la nube y lagos de datosHerramientas de ingestión de datosHerramientas de transformación y modelado de datosPlataformas de orquestación de flujos de trabajoGrafos acíclicos dirigidosPersonalizar tu infraestructura de datos
ETL y ELTLa aparición de ELT sobre ETLSubpatrón EtLTELT para el análisis de datosELT para la Ciencia de DatosELT para Productos de Datos y Aprendizaje AutomáticoPasos de un proceso de aprendizaje automáticoIncorpora los comentarios a la cadena de producciónLecturas adicionales sobre las tuberías ML
Configurar tu entorno PythonConfigurar el almacenamiento de archivos en la nubeExtraer datos de una base de datos MySQLExtracción completa o incremental de tablas MySQLReplicación binaria del registro de datos MySQLExtraer datos de una base de datos PostgreSQLExtracción completa o incremental de tablas PostgresReplicar datos utilizando el registro de escritura anticipadaExtraer datos de MongoDBExtraer datos de una API RESTIngesta de datos en streaming con Kafka y Debezium
Configurar un almacén de Amazon Redshift como destinoCarga de datos en un almacén RedshiftCargas incrementales frente a cargas completasCargar datos extraídos de un registro CDCConfigurar un almacén Snowflake como destinoCargar datos en un almacén de datos SnowflakeUtilizar tu almacenamiento de archivos como un lago de datosMarcos de código abiertoAlternativas comerciales
Transformaciones no contextualesDeduplicar registros en una tablaAnálisis de URL¿Cuándo transformar? ¿Durante o después de la ingestión?Fundamentos del modelado de datosTérminos clave del modelado de datosModelización de datos totalmente actualizadosCambio lento de dimensiones para datos totalmente actualizadosModelización de los Datos Ingeridos IncrementalmenteModelado de datos de sólo apéndicesModelización de los datos de captura de cambios
Grafos acíclicos dirigidosConfiguración y visión general de Apache AirflowInstalar y configurarBase de datos del flujo de aireServidor web e interfaz de usuarioProgramadorEjecutoresOperariosConstruir DAGs de flujo de aireUn DAG sencilloUn ELT Pipeline DAGTareas adicionales de la tuberíaAlertas y notificacionesComprobaciones de validación de datosConfiguraciones avanzadas de orquestaciónTareas de canalización acopladas frente a desacopladasCuándo dividir los DAGCoordinar varios DAG con sensoresOpciones de flujo de aire gestionadoOtros marcos de orquestación
Valida pronto, valida a menudoCalidad de los datos del sistema fuenteRiesgos de la ingestión de datosPermitir la validación de los analistas de datosUn marco de validación sencilloCódigo del Marco ValidadorEstructura de un ensayo de validaciónEjecutar una prueba de validaciónUtilización en un DAG de flujo de aireCuándo detener una tubería, cuándo avisar y continuarAmpliación del marcoEjemplos de pruebas de validaciónRegistros duplicados tras la ingestiónCambio inesperado en el recuento de filas tras la ingestiónFluctuaciones del valor métricoMarcos de Validación de Datos Comerciales y de Código Abierto
Gestión de cambios en los sistemas fuenteIntroducir la abstracciónMantener los Contratos de DatosLímites del esquema en lecturaEscala de complejidadNormalizar la ingestión de datosReutilización de la lógica del modelo de datosGarantizar la integridad de la dependencia

Métricas clave de la tuberíaPreparar el almacén de datosUn esquema de infraestructura de datosRegistro e ingesta de datos de rendimientoIngesta del historial de ejecuciones DAG desde AirflowAñadir registro al Validador de DatosTransformar los datos de rendimientoTasa de éxito DAGCambio en el tiempo de ejecución del DAGVolumen de pruebas de validación y porcentaje de éxitoOrquestar un canal de rendimientoEl DAG de RendimientoTransparencia de resultados

Content preview from Referencia de bolsillo sobre canalizaciones de datos

Capítulo 3. Patrones comunes de canalización de datos

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

Incluso para los ingenieros de datos experimentados, diseñar una nueva canalización de datos es un viaje nuevo cada vez. Como se explica en el Capítulo 2, las diferentes fuentes de datos e infraestructuras presentan tanto retos como oportunidades. Además, las canalizaciones se construyen con diferentes objetivos y limitaciones. ¿Deben procesarse los datos casi en tiempo real? ¿Pueden actualizarse diariamente? ¿Se modelarán para utilizarlos en un cuadro de mando o como entrada para un modelo de aprendizaje automático?

Afortunadamente, existen algunos patrones comunes en las canalizaciones de datos que han demostrado su eficacia y son extensibles a muchos casos de uso. En este capítulo, definiré estos patrones. Los capítulos siguientes implementarán canalizaciones basadas en ellos.

ETL y ELT

Quizá no haya patrón más conocido que el ETL y su hermano más moderno, el ELT. Ambos son patrones ampliamente utilizados en el almacenamiento de datos y la inteligencia empresarial. En años más recientes, han inspirado patrones de canalización para la ciencia de datos y los modelos de aprendizaje automático que se ejecutan en producción. Son tan conocidos que mucha gente utiliza estos términos como sinónimo de canalizaciones de datos, en lugar de patrones que siguen muchas canalizaciones.

Dadas sus raíces en el almacenamiento ...