book

Automatizar la supervisión de la calidad de los datos

by Jeremy Stanley, Paige Schwartz

September 2024

Intermediate to advanced

220 pages

6h 54m

Spanish

O'Reilly Media, Inc.

Read now

Unlock full access

Quién debería utilizar este libroConvenciones utilizadas en este libroAprendizaje en línea O'ReillyCómo contactar con nosotrosAgradecimientos
Los datos de alta calidad son el nuevo oroLas empresas impulsadas por los datos son las disruptoras actualesEl análisis de datos se democratizaLa IA y el aprendizaje automático son diferenciadoresLas empresas están invirtiendo en una pila de datos modernaMás datos, más problemasProblemas dentro de la fábrica de datosMigración de datosFuentes de datos de tercerosCrecimiento y cambio de la empresaFactores exógenosPor qué necesitamos un monitoreo de la calidad de los datosCicatrices de datosChoques de datosAutomatizar el monitoreo de la calidad de los datos: La nueva frontera
Requisitos de monitoreoObservabilidad de los Datos: Necesaria, pero no suficienteEnfoques tradicionales de la calidad de los datosDetección Manual de la Calidad de los DatosPruebas basadas en reglasMonitoreo de métricasAutomatizar el monitoreo de la calidad de los datos con aprendizaje automático no supervisado¿Qué es el aprendizaje automático no supervisado?Una analogía: Avisos de salida de carrilLos límites de la automatizaciónUn enfoque de cuatro pilares para el monitoreo de la calidad de los datos
Evaluar tus datosVolumenVariedadVelocidadVeracidadCasos especialesEvaluar tu sectorPresión normativaRiesgos de la IA/MLLos datos como productoEvaluar la madurez de tus datosEvaluar los beneficios para las partes interesadasIngenierosLiderazgo de datosCientíficosConsumidoresRealizar un análisis del ROIMedidas cuantitativasMedidas cualitativasConclusión
RequisitosSensibilidadEspecificidadTransparenciaEscalabilidadSin requisitosEl monitoreo de la calidad de los datos no es la detección de valores atípicosEnfoque y algoritmo MLMuestreo de datosCodificación de característicasDesarrollo de modelosExplicabilidad del modeloArmarlo con pseudocódigoOtras aplicacionesConclusión
Retos y mitigación de los datosEstacionalidadFunciones temporalesMesas caóticasTablas actualizadas in situCorrelaciones de columnaPrueba de modelosInyección de cuestiones sintéticasEvaluación comparativaMejorar el modeloConclusión
Cómo facilitan las notificaciones la respuesta a los problemas de datosTriajeEnrutamientoResoluciónDocumentaciónActuar sin notificacionesAnatomía de una notificaciónVisualizaciónAccionesDescripción del textoQuién creó/editó por última vez el chequeEnvío de notificacionesAudiencia de notificaciónCanales de notificaciónPlazo de notificaciónEvitar la fatiga de alertaProgramar los controles en el orden correctoAgrupación de alertas mediante aprendizaje automáticoSuprimir notificacionesAutomatizar el análisis de la causa raízConclusión
Monitoreo de tu pila de datosAlmacenes de datosIntegración con almacenes de datosSeguridadConciliar datos en varios almacenesOrquestadores de datosIntegración con orquestadoresCatálogos de datosIntegración con catálogosConsumidores de datosHerramientas de análisis y BIMLOpsConclusión
Construir frente a comprarModelos de Implementación de ProveedoresConfiguraciónDeterminar qué tablas son más importantesDecidir qué datos de una tabla monitorizarConfiguración a escalaHabilitaciónFunciones y permisos de los usuariosIncorporación, formación y apoyoMejorar la calidad de los datos a lo largo del tiempoIniciativasMétricasDel caos a la claridad

Temas de la mesaLlegada tardíaCambios en el esquemaCambios imposibles de rastrearCuestiones de FilaFilas incompletasFilas duplicadasIncoherencia temporalCuestiones de valorValores perdidosValores incorrectosValores no válidosCuestiones múltiplesFallos relacionalesFuentes incoherentes

Content preview from Automatizar la supervisión de la calidad de los datos

Sobre los autores

Jeremy Stanley es cofundador y Director Técnico de Anomalo. Antes de Anomalo, Jeremy fue vicepresidente de Ciencia de Datos en Instacart, donde dirigió el aprendizaje automático e impulsó múltiples iniciativas para mejorar la rentabilidad de la empresa. Anteriormente, dirigió la ciencia de datos y la ingeniería en otras empresas de hipercrecimiento como Sailthru y Collective. Ha aplicado el aprendizaje automático y las tecnologías de IA a todo, desde los seguros y la contabilidad hasta la tecnología publicitaria y la logística de reparto de última milla. También es un reconocido líder de opinión en la comunidad de la ciencia de datos, con entradas de blog enormemente populares como "Aprendizaje profundo con emojis (no matemáticas)". Jeremy es licenciado en Matemáticas por la Universidad Estatal de Wichita y tiene un MBA por la Universidad de Columbia. Puedes encontrar a Jeremy en LinkedIn y en X (antes conocido como Twitter).

Paige Schwartz es redactora técnica profesional en Anomalo y ha escrito para clientes como Airbnb, Grammarly y OpenAI. Está especializada en comunicar temas complejos de ingeniería de software a un público general y ha pasado su carrera trabajando con sistemas de aprendizaje automático y datos, incluidos cinco años como directora de producto en Google Search. Es licenciada en Informática e Inglés por la Universidad de Berkeley.