book

Fundamentos de la calidad de datos

by Barr Moses, Lior Gavish, Molly Vorwerck

September 2024

Intermediate to advanced

312 pages

10h 3m

Spanish

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Convenciones utilizadas en este libroUtilizar ejemplos de códigoAprendizaje en línea O'ReillyCómo contactar con nosotrosAgradecimientos
¿Qué es la calidad de los datos?Enmarcar el momento actualComprender el "Aumento del Tiempo de Inactividad de los Datos"Otras tendencias del sector que contribuyen al momento actualResumen
Comprender la diferencia entre datos operativos y analíticos¿Qué les hace diferentes?Almacenes de datos frente a lagos de datosAlmacenes de Datos: Tipos de tablas a nivel de esquemaLagos de Datos: Manipulaciones a nivel de fichero¿Qué pasa con el lago de datos?Sincronizar datos entre almacenes y lagosRecopilación de métricas de calidad de datos¿Qué son las métricas de calidad de datos?Cómo obtener métricas de calidad de datosUtilizar los Registros de Consulta para Comprender la Calidad de los Datos en el AlmacénUtilizar los Registros de Consulta para Comprender la Calidad de los Datos en el LagoDiseñar un Catálogo de DatosConstruir un catálogo de datosResumen
Recogida de datosDatos del registro de aplicacionesRespuestas APIDatos del sensorDatos de limpiezaProcesamiento por lotes frente a procesamiento por flujosCalidad de los datos para el procesamiento de flujosNormalizar datosManejo de fuentes de datos heterogéneasComprobación de esquemas y coerción de tiposAmbigüedad sintáctica frente a ambigüedad semántica en los datosGestión de transformaciones de datos operativos en AWS Kinesis y Apache KafkaEjecutar transformaciones analíticas de datosGarantizar la calidad de los datos durante el ETLGarantizar la calidad de los datos durante la transformaciónAlertas y pruebasdbt Pruebas unitariasGrandes expectativas Pruebas unitariasPruebas unitarias DeequGestión de la Calidad de los Datos con Apache AirflowSLA del programadorInstalación de disyuntores con flujo de aire ApacheOperadores de comprobación SQLResumen
Conocer tus incógnitas conocidas y tus incógnitas desconocidasConstruir un algoritmo de detección de anomalíasMonitoreo de la frescuraComprender la distribuciónConstruir monitores para esquema y linajeDetección de anomalías para cambios de esquema y linajeVisualizar el linajeInvestigar una anomalía en los datosAmpliar la detección de anomalías con Python y aprendizaje automáticoMejorar las alertas de monitoreo de datos con aprendizaje automáticoContabilización de falsos positivos y falsos negativosMejorar la precisión y la recuperaciónDetectar incidentes de frescura con el monitoreo de datosPuntuación F¿Importa la precisión del modelo?Más allá de la superficie: Otros Enfoques Útiles para la Detección de AnomalíasDiseño de monitores de calidad de datos para almacenes frente a lagosResumen
Medir y mantener una alta fiabilidad de los datos en la ingestiónMedir y mantener la calidad de los datos en la cadena de suministroComprender la calidad de los datos en sentido descendenteConstruir tu plataforma de datosIngestión de datosAlmacenamiento y procesamiento de datosTransformación y modelado de datosInteligencia empresarial y análisisDescubrimiento de datos y gobernanzaDesarrollar la confianza en tus datosObservabilidad de los datosMedir la rentabilidad de la calidad de los datosCómo establecer SLA, SLO y SLI para tus datosEstudio de caso: BlinkistResumen
Solucionar los problemas de calidad en el desarrollo de softwareGestión de incidencias de datosDetección de IncidentesRespuestaAnálisis de la causa raízResoluciónPostmortem sin culpaRespuesta a incidentes y mitigaciónEstablecer una rutina de gestión de incidentesPor qué son importantes los Comandantes de Incidentes de DatosCaso práctico: Gestión de incidencias de datos en PagerDutyEl panorama de DataOps en PagerDutyDesafíos de datos en PagerDutyUtilizar las buenas prácticas de DevOps para escalar la gestión de incidencias de datosResumen
Construir un linaje de extremo a extremo a nivel de campo para sistemas de datos modernosRequisitos básicos de linajeDiseño del linaje de datosAnálisis de los datosConstruir la interfaz de usuarioCaso práctico: Arquitectura para la fiabilidad de los datos en FoxEjerce una "libertad controlada" al tratar con las partes interesadasInvierte en un equipo de datos descentralizadoEvita los Nuevos Juguetes Brillantes en Favor de la Tecnología de Resolución de ProblemasPara que la analítica sea autoservicio, invierte en confianza en los datosResumen
Tratar tus "datos" como un productoPerspectivas sobre el tratamiento de los datos como un productoCaso práctico de Convoy: Los datos como servicio o resultadoEstudio de caso Uber: El auge del gestor de productos de datosAplicar el enfoque de los datos como productoCrear confianza en tu plataforma de datosAlinea los objetivos de tu producto con los objetivos de la empresaConsigue la opinión y el apoyo de las partes interesadas adecuadasPriorizar el crecimiento y la sostenibilidad a largo plazo frente a las ganancias a corto plazoSign Off on Métricas de referencia para tus datos y cómo medirlasSaber cuándo construir y cuándo comprarAsignar la propiedad de la calidad de los datosDirector de DatosAnalista de Inteligencia EmpresarialIngeniero AnalíticoCientífico de datosResponsable de Gobernanza de DatosIngeniero de datosGestor de Producto de Datos¿Quién es responsable de la fiabilidad de los datos?Crear responsabilidad para la calidad de los datosEquilibrar la accesibilidad de los datos con la confianzaCertificar tus datosSiete pasos para implantar un programa de certificación de datosCaso práctico: El viaje de Toast para encontrar la estructura adecuada para su equipo de datosAl principio: Cuando un equipo pequeño tiene dificultades para satisfacer la demanda de datosApoyar el Hipercrecimiento como Operación de Datos DescentralizadaReagrupar, Recentralizar y Reorientar la Confianza en los DatosConsideraciones a la hora de ampliar tu equipo de datosAumentar la alfabetización informáticaPriorizar la gobernanza de datos y el cumplimientoPriorizar un Catálogo de DatosMás allá de los catálogos: Imponer la Gobernanza de los DatosCrear una estrategia de calidad de datosResponsabilizar a la dirección de la calidad de los datosEstablecer KPI de calidad de datosEncabezar un Programa de Gobernanza de DatosAutomatiza tus herramientas de linaje y gobierno de datosCrea un plan de comunicaciónResumen
Construir una Malla de Datos para una Mayor Calidad de los DatosPropietarios de datos y conductos orientados al dominioFuncionalidad de autoservicioInteroperabilidad y normalización de las comunicaciones¿Por qué implantar una malla de datos?¿Mezclar o no? Esa es la cuestiónCálculo de tu puntuación de malla de datosUna conversación con Zhamak Dehghani: El papel de la calidad de los datos en la malla de datos¿Puedes construir una malla de datos a partir de una única solución?¿Es la malla de datos otra palabra para la virtualización de datos?¿Cada equipo de productos de datos gestiona sus propios almacenes de datos por separado?¿Es lo mismo una plataforma de datos de autoservicio que una malla de datos descentralizada?¿Es la Malla de Datos adecuada para todos los equipos de datos?¿Una persona de tu equipo es "dueña" de la malla de datos?¿Causa la malla de datos fricción entre los ingenieros de datos y los analistas de datos?Caso práctico: El viaje a la pila de datos de Kolibri GamesNecesidades de First DataPerseguir el marketing de resultados2018: Profesionalizar y centralizarOrientarse a los datosCentrarse en los datosConstruir una malla de datosCinco conclusiones clave de cinco años de evolución de los datosPoner los metadatos al servicio de la empresaDesbloquear el valor de los metadatos con el descubrimiento de datosConsideraciones sobre el almacén y el lago de datosLos catálogos de datos pueden ahogarse en un lago de datos, o incluso en una malla de datosPasar de los Catálogos de Datos Tradicionales al Descubrimiento Moderno de DatosDecidir cuándo empezar con la calidad de datos en tu empresaHas migrado recientemente a la nubeTu pila de datos se amplía con más fuentes de datos, más tablas y más complejidadTu equipo de datos está creciendoTu equipo dedica al menos el 30% de su tiempo a combatir los problemas de calidad de los datosTu equipo tiene más consumidores de datos que hace un añoTu empresa está pasando a un modelo analítico de autoservicioLos datos son una parte clave de la propuesta de valor para el clienteLa calidad de los datos empieza por la confianzaResumen

Sé proactivo, no reactivoPredicciones para el futuro de la calidad y fiabilidad de los datosLos almacenes y los lagos de datos se fusionaránAparición de nuevas funciones en el Equipo de DatosEl auge de la automatizaciónEntornos más distribuidos y el auge de los dominios de datos¿Adónde vamos ahora?

Content preview from Fundamentos de la calidad de datos

Capítulo 7. Construir un linaje de principio a fin

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

En el 27 de julio de 2004, una startup de cinco años llamada Google se enfrentó a un grave problema: su aplicación no funcionaba.

Durante varias horas, los usuarios de Estados Unidos, Francia y Gran Bretaña no pudieron acceder al popular motor de búsqueda. La empresa, que entonces contaba con 700 personas, y sus millones de usuarios se quedaron a oscuras mientras los ingenieros se esforzaban por solucionar el problema y descubrir la causa raíz del problema. A mediodía, un tedioso e intensivo proceso llevado a cabo por unos cuantos ingenieros presas del pánico determinó que el culpable era el virus MyDoom.

En 2021, una interrupción de esa duración y escala se consideraba bastante anómala, pero hace 15 años, este tipo de interrupciones del software no eran infrecuentes. Tras dirigir equipos en varias de estas experiencias a lo largo de los años, Benjamin Treynor Sloss, director de ingeniería de Google en aquella época, determinó que tenía que haber una forma mejor de gestionar y prevenir estos vertiginosos simulacros de incendio, no sólo en Google, sino en todo el sector.

Inspirado por su temprana carrera en la construcción de infraestructuras de datos y TI, Sloss codificó sus aprendizajes como una disciplina totalmente nueva -laingeniería de fiabilidaddel sitio(SRE, por sus siglas en inglés)- dedicada a optimizar ...