Automatizar a monitorização da qualidade dos dados

Capítulo 1. O imperativo da qualidade dos dados

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

Em março de 2022, a Equifax estava a migrar os seus dados de sistemas locais para uma nova infraestrutura Cloud, um processo notoriamente complicado. Algures pelo caminho, foi introduzido um erro que afectou a forma como as pontuações de crédito eram calculadas. Cerca de 12% de todos os dados de pontuação de crédito da empresa foram afectados, e centenas de milhares de pessoas acabaram por ter pontuações que estavam desfasadas em 25 pontos ou mais. Sem saber do erro, as instituições de crédito que consumiam os dados da Equifax alteraram as taxas que ofereciam aos clientes e até rejeitaram pedidos de empréstimos e hipotecas que deveriam ter sido aprovados.

Infelizmente, esta não é a única confusão sobre a qualidade dos dados que foi notícia recentemente:

• Em 2020, um erro de dados causou a perda de quase 16 000 resultados positivos de testes à COVID-19 no Reino Unido, o que possivelmente levou a que 50 000 pessoas não fossem aconselhadas a auto-isolar-se.

• As chamadas "tarifas de erro" das companhias aéreas, que por vezes são descontadas involuntariamente em mais de 90%, obrigaram as companhias aéreas a perder dinheiro ou a prejudicar a sua reputação por não honrarem estes "preços de erro".

• O Facebook forneceu um conjunto de dados a um grupo de cientistas sociais que não incluía metade dos seus utilizadores nos ...