La hoja de ruta de los datos de autoservicio

Capítulo 18. Servicio de Observabilidad de la Calidad

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Hasta ahora, hemos cubierto la implementación de insights, y ahora están listos para ser utilizados en producción. Considera un ejemplo real de un cuadro de mando empresarial implementado en producción que muestra un pico en una de las métricas (como los nuevos abonados brutos). Los usuarios de datos deben asegurarse de que el pico refleja la realidad y no es el resultado de un problema de calidad de los datos. Hay varias cosas que pueden ir mal y provocar problemas de calidad: cambios descoordinados en el esquema de origen, cambios en las propiedades de los elementos de datos, problemas de ingestión, sistemas de origen y destino con datos desincronizados, fallos de procesamiento, definiciones empresariales incorrectas para generar métricas, etc.

El seguimiento de la calidad en los conductos de producción es complejo. En primer lugar, no existe un seguimiento E2E unificado y estandarizado de la calidad de los datos a través de múltiples fuentes en el conducto de datos. Esto provoca un gran retraso en la identificación y corrección de los problemas de calidad de los datos. Además, actualmente no existe una plataforma estandarizada que obligue a los equipos a aplicar y gestionar su propia infraestructura de hardware y software para abordar el problema. En segundo lugar, definir las comprobaciones de calidad y ejecutarlas ...