Automatizar a monitorização da qualidade dos dados

Prefácio

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

A maioria das empresas, quando atingem uma dimensão e escala suficientes, chega a um ponto em que começa a questionar se os seus dados são fiáveis. Observam números nos painéis que não podem ser exactos; do nada, os modelos de aprendizagem automática começam a ter um desempenho fraco na produção. A frase "garbage in, garbage out" começa a circular internamente - referindo-se ao problema de criar produtos e funcionalidades utilizando dados que podem conter corrupções, segmentos em falta e outras imprecisões.

Quando a confiança nos dados da empresa começa a degradar-se - ou talvez nunca tenha existido em primeiro lugar - é essencial abordar esta questão de frente. A qualidade dos dados não é algo que melhora magicamente à medida que a empresa cresce; de facto, só piora devido ao aumento da complexidade. A qualidade dos dados, tal como a qualidade do software, tem de ser continuamente monitorizada para que os problemas sejam resolvidos rapidamente à medida que surgem.

Muitas organizações estão de acordo com esta ideia em teoria, mas lutam para implementar a monitorização da qualidade dos dados na prática, à escala empresarial. Quando Jeremy e Elliott fundaram a Anomalo em 2018, foi por causa da experiência em primeira mão com essas lutas, resultando em uma perceção de que as abordagens existentes para o monitoramento da qualidade dos dados não estavam atendendo ...