book

Automatizar la supervisión de la calidad de los datos

by Jeremy Stanley, Paige Schwartz

September 2024

Intermediate to advanced

220 pages

6h 54m

Spanish

O'Reilly Media, Inc.

Read now

Unlock full access

Quién debería utilizar este libroConvenciones utilizadas en este libroAprendizaje en línea O'ReillyCómo contactar con nosotrosAgradecimientos
Los datos de alta calidad son el nuevo oroLas empresas impulsadas por los datos son las disruptoras actualesEl análisis de datos se democratizaLa IA y el aprendizaje automático son diferenciadoresLas empresas están invirtiendo en una pila de datos modernaMás datos, más problemasProblemas dentro de la fábrica de datosMigración de datosFuentes de datos de tercerosCrecimiento y cambio de la empresaFactores exógenosPor qué necesitamos un monitoreo de la calidad de los datosCicatrices de datosChoques de datosAutomatizar el monitoreo de la calidad de los datos: La nueva frontera
Requisitos de monitoreoObservabilidad de los Datos: Necesaria, pero no suficienteEnfoques tradicionales de la calidad de los datosDetección Manual de la Calidad de los DatosPruebas basadas en reglasMonitoreo de métricasAutomatizar el monitoreo de la calidad de los datos con aprendizaje automático no supervisado¿Qué es el aprendizaje automático no supervisado?Una analogía: Avisos de salida de carrilLos límites de la automatizaciónUn enfoque de cuatro pilares para el monitoreo de la calidad de los datos
Evaluar tus datosVolumenVariedadVelocidadVeracidadCasos especialesEvaluar tu sectorPresión normativaRiesgos de la IA/MLLos datos como productoEvaluar la madurez de tus datosEvaluar los beneficios para las partes interesadasIngenierosLiderazgo de datosCientíficosConsumidoresRealizar un análisis del ROIMedidas cuantitativasMedidas cualitativasConclusión
RequisitosSensibilidadEspecificidadTransparenciaEscalabilidadSin requisitosEl monitoreo de la calidad de los datos no es la detección de valores atípicosEnfoque y algoritmo MLMuestreo de datosCodificación de característicasDesarrollo de modelosExplicabilidad del modeloArmarlo con pseudocódigoOtras aplicacionesConclusión
Retos y mitigación de los datosEstacionalidadFunciones temporalesMesas caóticasTablas actualizadas in situCorrelaciones de columnaPrueba de modelosInyección de cuestiones sintéticasEvaluación comparativaMejorar el modeloConclusión
Cómo facilitan las notificaciones la respuesta a los problemas de datosTriajeEnrutamientoResoluciónDocumentaciónActuar sin notificacionesAnatomía de una notificaciónVisualizaciónAccionesDescripción del textoQuién creó/editó por última vez el chequeEnvío de notificacionesAudiencia de notificaciónCanales de notificaciónPlazo de notificaciónEvitar la fatiga de alertaProgramar los controles en el orden correctoAgrupación de alertas mediante aprendizaje automáticoSuprimir notificacionesAutomatizar el análisis de la causa raízConclusión
Monitoreo de tu pila de datosAlmacenes de datosIntegración con almacenes de datosSeguridadConciliar datos en varios almacenesOrquestadores de datosIntegración con orquestadoresCatálogos de datosIntegración con catálogosConsumidores de datosHerramientas de análisis y BIMLOpsConclusión
Construir frente a comprarModelos de Implementación de ProveedoresConfiguraciónDeterminar qué tablas son más importantesDecidir qué datos de una tabla monitorizarConfiguración a escalaHabilitaciónFunciones y permisos de los usuariosIncorporación, formación y apoyoMejorar la calidad de los datos a lo largo del tiempoIniciativasMétricasDel caos a la claridad

Temas de la mesaLlegada tardíaCambios en el esquemaCambios imposibles de rastrearCuestiones de FilaFilas incompletasFilas duplicadasIncoherencia temporalCuestiones de valorValores perdidosValores incorrectosValores no válidosCuestiones múltiplesFallos relacionalesFuentes incoherentes

Content preview from Automatizar la supervisión de la calidad de los datos

Prólogo

Una pregunta rápida para ti: ¿Cómo puedes distinguir a un científico de datos que realmente ha construido cosas en producción de alguien que sólo ha jugado con los datos? Responde: Se han quemado absolutamente con la calidad de los datos. Cualquiera que realmente haya implementado datos tiene no sólo una cicatriz, sino latigazos en todo el cuerpo por este problema.

He aquí un día típico en la vida de un equipo de ciencia de datos. Un alto ejecutivo ve algo raro en un cuadro de mandos por la mañana, pregunta si la cifra es correcta, y entonces el equipo de datos hace sprints durante las 4 horas siguientes para averiguar la respuesta. Finalmente localizan al ingeniero que olvidó añadir el mecanismo de seguimiento correcto. Pero ya ha pasado el mediodía y el equipo ni siquiera ha llegado a su larga lista de tareas del día. Al salir del modo de extinción de incendios, es difícil avanzar en nada interesante.

Otra forma de decir esto es que siempre dejamos que lo urgente se interponga en el camino de lo importante. Más peligroso es que socavemos la confianza en los datos. Los equipos de ciencia de datos acaban jugando a la defensiva en lugar de al ataque.

He visto esto de primera mano muchas veces. Al principio de la pandemia de COVID-19, me pidieron que ayudara al estado de California a comprender el impacto potencial de la enfermedad. Fue un momento de "manos a la obra", y teníamos acceso a recursos y conjuntos de datos increíbles. Sin embargo, seguíamos cuestionando las ...