Automatizar la supervisión de la calidad de los datos

Capítulo 2. Estrategias de monitoreo de la calidad de los datos y papel de la automatización

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Hay muchas formas diferentes de enfocar el monitoreo de la calidad de los datos. Antes de evaluar las opciones, ayuda pensar en cómo es el éxito. En este capítulo, definiremos los requisitos para el éxito. A continuación, repasaremos las estrategias tradicionales -comprobaciones manuales, pruebas basadas en reglas y monitoreo de métricas- y veremos cómo se comportan.

A continuación, exploraremos la idea de automatizar el monitoreo de la calidad de los datos. Explicaremos cómo el aprendizaje automático no supervisado puede ayudarnos a satisfacer algunos aspectos que faltan en nuestros criterios de éxito, ampliando el monitoreo a grandes cantidades de datos y reduciendo al mismo tiempo la fatiga de las alertas.

Terminaremos presentando la estrategia de monitoreo de la calidad de los datos que defendemos en este libro: un enfoque de cuatro pilares que combina la observabilidad de los datos, las pruebas basadas en reglas, el monitoreo de métricas y el aprendizaje automático no supervisado. Como mostraremos, este enfoque tiene muchas ventajas. Permite a los expertos en la materia (PYMES) aplicar restricciones esenciales y realizar un seguimiento de los indicadores clave de rendimiento (KPI) de las tablas importantes, al tiempo que proporciona un nivel básico de monitoreo para ...