book

Automatizar la supervisión de la calidad de los datos

by Jeremy Stanley, Paige Schwartz

September 2024

Intermediate to advanced

220 pages

6h 54m

Spanish

O'Reilly Media, Inc.

Read now

Unlock full access

Quién debería utilizar este libroConvenciones utilizadas en este libroAprendizaje en línea O'ReillyCómo contactar con nosotrosAgradecimientos
Los datos de alta calidad son el nuevo oroLas empresas impulsadas por los datos son las disruptoras actualesEl análisis de datos se democratizaLa IA y el aprendizaje automático son diferenciadoresLas empresas están invirtiendo en una pila de datos modernaMás datos, más problemasProblemas dentro de la fábrica de datosMigración de datosFuentes de datos de tercerosCrecimiento y cambio de la empresaFactores exógenosPor qué necesitamos un monitoreo de la calidad de los datosCicatrices de datosChoques de datosAutomatizar el monitoreo de la calidad de los datos: La nueva frontera
Requisitos de monitoreoObservabilidad de los Datos: Necesaria, pero no suficienteEnfoques tradicionales de la calidad de los datosDetección Manual de la Calidad de los DatosPruebas basadas en reglasMonitoreo de métricasAutomatizar el monitoreo de la calidad de los datos con aprendizaje automático no supervisado¿Qué es el aprendizaje automático no supervisado?Una analogía: Avisos de salida de carrilLos límites de la automatizaciónUn enfoque de cuatro pilares para el monitoreo de la calidad de los datos
Evaluar tus datosVolumenVariedadVelocidadVeracidadCasos especialesEvaluar tu sectorPresión normativaRiesgos de la IA/MLLos datos como productoEvaluar la madurez de tus datosEvaluar los beneficios para las partes interesadasIngenierosLiderazgo de datosCientíficosConsumidoresRealizar un análisis del ROIMedidas cuantitativasMedidas cualitativasConclusión
RequisitosSensibilidadEspecificidadTransparenciaEscalabilidadSin requisitosEl monitoreo de la calidad de los datos no es la detección de valores atípicosEnfoque y algoritmo MLMuestreo de datosCodificación de característicasDesarrollo de modelosExplicabilidad del modeloArmarlo con pseudocódigoOtras aplicacionesConclusión
Retos y mitigación de los datosEstacionalidadFunciones temporalesMesas caóticasTablas actualizadas in situCorrelaciones de columnaPrueba de modelosInyección de cuestiones sintéticasEvaluación comparativaMejorar el modeloConclusión
Cómo facilitan las notificaciones la respuesta a los problemas de datosTriajeEnrutamientoResoluciónDocumentaciónActuar sin notificacionesAnatomía de una notificaciónVisualizaciónAccionesDescripción del textoQuién creó/editó por última vez el chequeEnvío de notificacionesAudiencia de notificaciónCanales de notificaciónPlazo de notificaciónEvitar la fatiga de alertaProgramar los controles en el orden correctoAgrupación de alertas mediante aprendizaje automáticoSuprimir notificacionesAutomatizar el análisis de la causa raízConclusión
Monitoreo de tu pila de datosAlmacenes de datosIntegración con almacenes de datosSeguridadConciliar datos en varios almacenesOrquestadores de datosIntegración con orquestadoresCatálogos de datosIntegración con catálogosConsumidores de datosHerramientas de análisis y BIMLOpsConclusión
Construir frente a comprarModelos de Implementación de ProveedoresConfiguraciónDeterminar qué tablas son más importantesDecidir qué datos de una tabla monitorizarConfiguración a escalaHabilitaciónFunciones y permisos de los usuariosIncorporación, formación y apoyoMejorar la calidad de los datos a lo largo del tiempoIniciativasMétricasDel caos a la claridad

Temas de la mesaLlegada tardíaCambios en el esquemaCambios imposibles de rastrearCuestiones de FilaFilas incompletasFilas duplicadasIncoherencia temporalCuestiones de valorValores perdidosValores incorrectosValores no válidosCuestiones múltiplesFallos relacionalesFuentes incoherentes

Content preview from Automatizar la supervisión de la calidad de los datos

Capítulo 8. Poner en marcha tu solución a escala

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

En este capítulo final, hablaremos de los retos a los que probablemente te enfrentarás cuando pongas en marcha una solución automatizada de monitoreo de la calidad de los datos y la mantengas a largo plazo. Nos centraremos en definir claramente los problemas, permitiendo que tu caso de uso y tus necesidades te orienten hacia el enfoque adecuado para tu equipo.

El funcionamiento de una solución tecnológica como el monitoreo automatizado de la calidad de los datos sigue un patrón general. En primer lugar, está el proceso de adquisición de la plataforma, ya sea construyéndola tú mismo o comprándola a un tercero. Luego, está la configuración inicial y la habilitación para que tu equipo pueda utilizar con éxito todas las funciones de la plataforma. Una vez que todo está en marcha, la etapa "final" es el uso continuado de la plataforma para facilitar los objetivos de tu organización -en este caso, mejorar y mantener la calidad de los datos a largo plazo-. Hemos estructurado este capítulo para seguir estas fases en orden. Ahora, vamos a sumergirnos y ver cómo puedes alcanzar un estado estable de excelencia en la calidad de los datos.

Construir frente a comprar

Una vez que una organización comprende a fondo el problema que tiene y ha investigado las opciones en el espacio de soluciones, tiene que tomar una decisión: ¿construir ...