book

Automatizar la supervisión de la calidad de los datos

by Jeremy Stanley, Paige Schwartz

September 2024

Intermediate to advanced

220 pages

6h 54m

Spanish

O'Reilly Media, Inc.

Read now

Unlock full access

Quién debería utilizar este libroConvenciones utilizadas en este libroAprendizaje en línea O'ReillyCómo contactar con nosotrosAgradecimientos
Los datos de alta calidad son el nuevo oroLas empresas impulsadas por los datos son las disruptoras actualesEl análisis de datos se democratizaLa IA y el aprendizaje automático son diferenciadoresLas empresas están invirtiendo en una pila de datos modernaMás datos, más problemasProblemas dentro de la fábrica de datosMigración de datosFuentes de datos de tercerosCrecimiento y cambio de la empresaFactores exógenosPor qué necesitamos un monitoreo de la calidad de los datosCicatrices de datosChoques de datosAutomatizar el monitoreo de la calidad de los datos: La nueva frontera
Requisitos de monitoreoObservabilidad de los Datos: Necesaria, pero no suficienteEnfoques tradicionales de la calidad de los datosDetección Manual de la Calidad de los DatosPruebas basadas en reglasMonitoreo de métricasAutomatizar el monitoreo de la calidad de los datos con aprendizaje automático no supervisado¿Qué es el aprendizaje automático no supervisado?Una analogía: Avisos de salida de carrilLos límites de la automatizaciónUn enfoque de cuatro pilares para el monitoreo de la calidad de los datos
Evaluar tus datosVolumenVariedadVelocidadVeracidadCasos especialesEvaluar tu sectorPresión normativaRiesgos de la IA/MLLos datos como productoEvaluar la madurez de tus datosEvaluar los beneficios para las partes interesadasIngenierosLiderazgo de datosCientíficosConsumidoresRealizar un análisis del ROIMedidas cuantitativasMedidas cualitativasConclusión
RequisitosSensibilidadEspecificidadTransparenciaEscalabilidadSin requisitosEl monitoreo de la calidad de los datos no es la detección de valores atípicosEnfoque y algoritmo MLMuestreo de datosCodificación de característicasDesarrollo de modelosExplicabilidad del modeloArmarlo con pseudocódigoOtras aplicacionesConclusión
Retos y mitigación de los datosEstacionalidadFunciones temporalesMesas caóticasTablas actualizadas in situCorrelaciones de columnaPrueba de modelosInyección de cuestiones sintéticasEvaluación comparativaMejorar el modeloConclusión
Cómo facilitan las notificaciones la respuesta a los problemas de datosTriajeEnrutamientoResoluciónDocumentaciónActuar sin notificacionesAnatomía de una notificaciónVisualizaciónAccionesDescripción del textoQuién creó/editó por última vez el chequeEnvío de notificacionesAudiencia de notificaciónCanales de notificaciónPlazo de notificaciónEvitar la fatiga de alertaProgramar los controles en el orden correctoAgrupación de alertas mediante aprendizaje automáticoSuprimir notificacionesAutomatizar el análisis de la causa raízConclusión
Monitoreo de tu pila de datosAlmacenes de datosIntegración con almacenes de datosSeguridadConciliar datos en varios almacenesOrquestadores de datosIntegración con orquestadoresCatálogos de datosIntegración con catálogosConsumidores de datosHerramientas de análisis y BIMLOpsConclusión
Construir frente a comprarModelos de Implementación de ProveedoresConfiguraciónDeterminar qué tablas son más importantesDecidir qué datos de una tabla monitorizarConfiguración a escalaHabilitaciónFunciones y permisos de los usuariosIncorporación, formación y apoyoMejorar la calidad de los datos a lo largo del tiempoIniciativasMétricasDel caos a la claridad

Temas de la mesaLlegada tardíaCambios en el esquemaCambios imposibles de rastrearCuestiones de FilaFilas incompletasFilas duplicadasIncoherencia temporalCuestiones de valorValores perdidosValores incorrectosValores no válidosCuestiones múltiplesFallos relacionalesFuentes incoherentes

Content preview from Automatizar la supervisión de la calidad de los datos

Capítulo 6. Implementar las notificaciones evitando la fatiga de las alertas

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

¿De qué serviría un sistema de monitoreo si no te alertara cuando algo va mal? Sin embargo, las alertas son a la vez la esencia y el talón de Aquiles del monitoreo. Si se hacen bien, las notificaciones llegarán a las personas adecuadas a través de los canales apropiados, les ayudarán a comprender la gravedad del problema e incluso les indicarán la causa raíz para una rápida resolución. Si se hacen mal, las notificaciones enviarán spam a demasiada gente, carecerán de contexto y será difícil actuar en consecuencia. No serán dignas de confianza y, en última instancia, serán ignoradas.

La fatiga de las alertas es una de las principales razones por las que fracasan los esfuerzos de monitoreo de la calidad de los datos, especialmente a medida que las empresas crecen (véase la barra lateral "Fatiga de las alertas"). Si tienes docenas de personas implicadas en la calidad de los datos y miles de tablas que activan alertas, se desperdicia mucho tiempo y energía de los empleados si esas alertas son inútiles, confusas o ruidosas.

En este capítulo, compartiremos una serie de técnicas que puedes utilizar para asegurarte de que tus notificaciones facultan a tu equipo para solucionar los problemas de calidad de los datos. Cubriremos los pasos del proceso de resolución de problemas y cómo pueden diseñarse ...