Automatizar a monitorização da qualidade dos dados

Capítulo 2. Estratégias de monitorização da qualidade dos dados e o papel da automatização

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

Há muitas formas diferentes de abordar a monitorização da qualidade dos dados. Antes de avaliar as opções, ajuda pensar sobre o que é o sucesso. Neste capítulo, vamos definir os requisitos para o sucesso. Em seguida, analisaremos as estratégias tradicionais - verificações manuais, testes baseados em regras e monitorização de métricas - e veremos como se comportam.

Em seguida, vamos explorar a ideia de automatizar a monitorização da qualidade dos dados. Explicaremos como a aprendizagem automática não supervisionada pode ajudar-nos a satisfazer alguns aspectos em falta dos nossos critérios de sucesso, dimensionando a monitorização para grandes quantidades de dados e reduzindo o cansaço dos alertas.

Terminaremos apresentando a estratégia de monitorização da qualidade dos dados que defendemos neste livro: uma abordagem de quatro pilares que combina a observabilidade dos dados, testes baseados em regras, monitorização de métricas e aprendizagem automática não supervisionada. Como mostraremos, esta abordagem tem muitas vantagens. Permite que os especialistas no assunto (SMEs) apliquem restrições essenciais e acompanhem os principais indicadores de desempenho (KPIs) para tabelas importantes - tudo isso enquanto fornecem um nível básico de monitoramento para um grande volume de ...