book

Automatizar la supervisión de la calidad de los datos

by Jeremy Stanley, Paige Schwartz

September 2024

Intermediate to advanced

220 pages

6h 54m

Spanish

O'Reilly Media, Inc.

Read now

Unlock full access

Quién debería utilizar este libroConvenciones utilizadas en este libroAprendizaje en línea O'ReillyCómo contactar con nosotrosAgradecimientos
Los datos de alta calidad son el nuevo oroLas empresas impulsadas por los datos son las disruptoras actualesEl análisis de datos se democratizaLa IA y el aprendizaje automático son diferenciadoresLas empresas están invirtiendo en una pila de datos modernaMás datos, más problemasProblemas dentro de la fábrica de datosMigración de datosFuentes de datos de tercerosCrecimiento y cambio de la empresaFactores exógenosPor qué necesitamos un monitoreo de la calidad de los datosCicatrices de datosChoques de datosAutomatizar el monitoreo de la calidad de los datos: La nueva frontera
Requisitos de monitoreoObservabilidad de los Datos: Necesaria, pero no suficienteEnfoques tradicionales de la calidad de los datosDetección Manual de la Calidad de los DatosPruebas basadas en reglasMonitoreo de métricasAutomatizar el monitoreo de la calidad de los datos con aprendizaje automático no supervisado¿Qué es el aprendizaje automático no supervisado?Una analogía: Avisos de salida de carrilLos límites de la automatizaciónUn enfoque de cuatro pilares para el monitoreo de la calidad de los datos
Evaluar tus datosVolumenVariedadVelocidadVeracidadCasos especialesEvaluar tu sectorPresión normativaRiesgos de la IA/MLLos datos como productoEvaluar la madurez de tus datosEvaluar los beneficios para las partes interesadasIngenierosLiderazgo de datosCientíficosConsumidoresRealizar un análisis del ROIMedidas cuantitativasMedidas cualitativasConclusión
RequisitosSensibilidadEspecificidadTransparenciaEscalabilidadSin requisitosEl monitoreo de la calidad de los datos no es la detección de valores atípicosEnfoque y algoritmo MLMuestreo de datosCodificación de característicasDesarrollo de modelosExplicabilidad del modeloArmarlo con pseudocódigoOtras aplicacionesConclusión
Retos y mitigación de los datosEstacionalidadFunciones temporalesMesas caóticasTablas actualizadas in situCorrelaciones de columnaPrueba de modelosInyección de cuestiones sintéticasEvaluación comparativaMejorar el modeloConclusión
Cómo facilitan las notificaciones la respuesta a los problemas de datosTriajeEnrutamientoResoluciónDocumentaciónActuar sin notificacionesAnatomía de una notificaciónVisualizaciónAccionesDescripción del textoQuién creó/editó por última vez el chequeEnvío de notificacionesAudiencia de notificaciónCanales de notificaciónPlazo de notificaciónEvitar la fatiga de alertaProgramar los controles en el orden correctoAgrupación de alertas mediante aprendizaje automáticoSuprimir notificacionesAutomatizar el análisis de la causa raízConclusión
Monitoreo de tu pila de datosAlmacenes de datosIntegración con almacenes de datosSeguridadConciliar datos en varios almacenesOrquestadores de datosIntegración con orquestadoresCatálogos de datosIntegración con catálogosConsumidores de datosHerramientas de análisis y BIMLOpsConclusión
Construir frente a comprarModelos de Implementación de ProveedoresConfiguraciónDeterminar qué tablas son más importantesDecidir qué datos de una tabla monitorizarConfiguración a escalaHabilitaciónFunciones y permisos de los usuariosIncorporación, formación y apoyoMejorar la calidad de los datos a lo largo del tiempoIniciativasMétricasDel caos a la claridad

Temas de la mesaLlegada tardíaCambios en el esquemaCambios imposibles de rastrearCuestiones de FilaFilas incompletasFilas duplicadasIncoherencia temporalCuestiones de valorValores perdidosValores incorrectosValores no válidosCuestiones múltiplesFallos relacionalesFuentes incoherentes

Content preview from Automatizar la supervisión de la calidad de los datos

Capítulo 5. Construir un modelo que funcione con datos reales

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

En el Capítulo 4, compartimos un algoritmo para el monitoreo de la calidad de los datos con aprendizaje automático no supervisado. Una cosa es leer sobre estos pasos, y otra muy distinta construir un modelo que funcione bien en la práctica en cualquier conjunto de datos arbitrario del mundo real. Si no tienes estrategias para tener en cuenta matices como la estacionalidad, las características temporales y las correlaciones entre columnas, tu modelo alertará en exceso o en defecto, a menudo de forma drástica.

Además de conocer los escollos a los que debes prestar atención, tendrás que evaluar continuamente tu modelo comparándolo con datos de referencia para averiguar dónde y cómo mejorar. Compartiremos métodos para la comprobación eficaz de modelos, incluyendo ideas sobre el desarrollo de una biblioteca para introducir el caos en datos perfectamente bien manejados (cue evil laugh).

Retos y mitigación de los datos

Para que tu modelo sea realmente valioso y no ruidoso, necesitarás estrategias para superar los retos que presentan los datos en la naturaleza.

Estacionalidad

Los humanos somos criaturas muy estacionales. Cambiamos nuestros patrones de comportamiento según la hora del día y el día de la semana. Pagamos las facturas más o menos el mismo día cada mes y nos vamos de vacaciones más o menos en la ...