book

Fundamentos da qualidade dos dados

by Barr Moses, Lior Gavish, Molly Vorwerck

April 2025

Intermediate to advanced

312 pages

9h 53m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Convenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
O que é a qualidade dos dados?Enquadrar o momento atualCompreender a "Ascensão do tempo de inatividade dos dados"Outras tendências do sector que contribuem para o momento atualResumo
Compreender a diferença entre dados operacionais e analíticosO que é que os torna diferentes?Data Warehouses versus Data LakesData Warehouses: Tipos de tabela no nível do esquemaLagos de dados: Manipulações ao nível do ficheiroO que acontece com o Data Lakehouse?Sincronização de dados entre armazéns e lagosRecolha de métricas de qualidade de dadosO que são métricas de qualidade de dados?Como obter métricas de qualidade de dadosUtilização de logs de consulta para entender a qualidade dos dados no depósitoUsando Query Logs para entender a qualidade dos dados no lagoConceber um catálogo de dadosCriar um catálogo de dadosResumo
Recolha de dadosDados do registo de aplicaçõesRespostas da APIDados do sensorDados de limpezaProcessamento em lote versus processamento em fluxoQualidade dos dados para processamento em fluxoNormalização de dadosTratamento de fontes de dados heterogéneasVerificação de esquemas e coerção de tiposAmbiguidade sintáctica versus ambiguidade semântica nos dadosGerir as transformações de dados operacionais no AWS Kinesis e no Apache KafkaExecutar transformações de dados analíticosGarantir a qualidade dos dados durante o ETLGarantir a qualidade dos dados durante a transformaçãoAlertas e testesdbt Teste de unidadeGrandes expectativas Teste de unidadeTeste de unidade DeequGerir a qualidade dos dados com o Apache AirflowSLAs do programadorInstalação de disjuntores com fluxo de ar ApacheOperadores de verificação SQLResumo
Conhecer as tuas incógnitas conhecidas e desconhecidasCriar um algoritmo de deteção de anomaliasMonitorização da frescuraCompreender a distribuiçãoCriar monitores para esquema e linhagemDeteção de anomalias para alterações de esquema e linhagemVisualiza a linhagemInvestigando uma anomalia de dadosEscala a deteção de anomalias com Python e aprendizagem automáticaMelhorar os alertas de monitorização de dados com a aprendizagem automáticaContabilização de falsos positivos e falsos negativosMelhorar a precisão e a recuperaçãoDeteção de incidentes de frescura com monitorização de dadosPontuações FA precisão do modelo é importante?Para além da superfície: Outras abordagens úteis de deteção de anomaliasConceber monitores de qualidade de dados para Warehouses versus LakesResumo
Medição e manutenção da elevada fiabilidade dos dados na ingestãoMedição e manutenção da qualidade dos dados no pipelineCompreender a qualidade dos dados a jusanteCriar a tua plataforma de dadosIngestão de dadosArmazenamento e processamento de dadosTransformação e modelação de dadosInteligência empresarial e análiseDescoberta de dados e governaçãoDesenvolver a confiança nos teus dadosObservabilidade dos dadosMedir o ROI da qualidade dos dadosComo definir SLAs, SLOs e SLIs para os teus dadosEstudo de caso: BlinkistResumo
Corrigir problemas de qualidade no desenvolvimento de softwareGestão de incidentes de dadosDeteção de incidentesRespostaAnálise da causa principalResoluçãoPostmortem sem culpaResposta e mitigação de incidentesEstabelecer uma rotina de gestão de incidentesPorque é que os comandantes de incidentes de dados são importantesEstudo de caso: Gestão de incidentes de dados na PagerDutyO cenário de DataOps na PagerDutyDesafios de dados no PagerDutyUtiliza as melhores práticas de DevOps para escalar a gestão de incidentes de dadosResumo
Criação de linhagem de ponta a ponta ao nível do campo para sistemas de dados modernosRequisitos básicos de linhagemConceção da linhagem de dadosAnalisar os dadosCriar a interface do utilizadorEstudo de caso: Arquitetando para confiabilidade de dados na FoxExerce uma "liberdade controlada" ao lidar com as partes interessadasInveste numa equipa de dados descentralizadaEvita os brinquedos novos e brilhantes a favor da tecnologia de resolução de problemasPara tornar a análise self-service, investe na confiança nos dadosResumo
Tratar os teus "dados" como um produtoPerspectivas sobre o tratamento de dados como um produtoEstudo de caso da Convoy: Dados como um serviço ou resultadoEstudo de caso da Uber: A ascensão do gestor de produtos de dadosAplicar a abordagem "dados como um produtoCriar confiança na tua plataforma de dadosAlinha os objetivos do teu produto com os objetivos do negócioObtém o feedback e a adesão das partes interessadas certasDá prioridade ao crescimento e à sustentabilidade a longo prazo em detrimento dos ganhos a curto prazoDesliga as métricas de base para os teus dados e como os medesSabe quando construir versus comprarAtribuição de responsabilidade pela qualidade dos dadosDiretor de DadosAnalista de Business IntelligenceEngenheiro de análiseCientista de dadosResponsável pela governação de dadosEngenheiro de dadosGestor de produtos de dadosQuem é responsável pela fiabilidade dos dados?Criar responsabilidade pela qualidade dos dadosEquilibra a acessibilidade dos dados com a confiançaCertificar os teus dadosSete passos para a implementação de um programa de certificação de dadosEstudo de caso: O percurso da Toast para encontrar a estrutura certa para a sua equipa de dadosNo início: Quando uma equipa pequena tem dificuldade em satisfazer as exigências dos dadosApoiar o hipercrescimento como uma operação de dados descentralizadaReagrupar, recentralizar e reorientar a confiança nos dadosConsiderações sobre o dimensionamento da tua equipa de dadosAumentar a literacia de dadosDar prioridade à governação de dados e à conformidadePriorização de um catálogo de dadosPara além dos catálogos: Aplicar a governação de dadosCriar uma estratégia de qualidade de dadosResponsabiliza a liderança pela qualidade dos dadosDefine KPIs de qualidade de dadosLidera um programa de governação de dadosAutomatiza a tua linhagem e as ferramentas de governação de dadosCria um plano de comunicaçãoResumo
Constrói um Data Mesh para uma maior qualidade de dadosProprietários de dados e pipelines orientados para o domínioFuncionalidade de autosserviçoInteroperabilidade e normalização das comunicaçõesPorquê implementar um Data Mesh?Malhar ou não malhar? Essa é a questãoCalcular o teu Data Mesh ScoreConversa com Zhamak Dehghani: O papel da qualidade dos dados em toda a Data MeshPodes construir um Data Mesh a partir de uma única solução?Data Mesh é outra palavra para virtualização de dados?Cada equipa de produto de dados gere os seus próprios armazenamentos de dados separados?Uma plataforma de dados self-service é a mesma coisa que um Data Mesh descentralizado?O Data Mesh é adequado para todas as equipas de dados?Uma pessoa da tua equipa é "dona" do Data Mesh?O Data Mesh causa fricção entre engenheiros de dados e analistas de dados?Estudo de caso: A jornada da pilha de dados da Kolibri GamesNecessidades da First DataProcura o Marketing de Desempenho2018: Profissionaliza e centralizaOrientar-se para os dadosObter dadosConstruir um Data MeshCinco conclusões importantes de uma evolução de dados de cinco anosFazendo os metadados trabalharem para a empresaDesbloquear o valor dos metadados com a descoberta de dadosConsiderações sobre Data Warehouse e LakeOs catálogos de dados podem afogar-se num lago de dados - ou mesmo num Data MeshPassa dos catálogos de dados tradicionais para a descoberta de dados modernaDecidir quando começar a utilizar a qualidade dos dados na tua empresaMigraste recentemente para a CloudA tua pilha de dados está a escalar com mais fontes de dados, mais tabelas e mais complexidadeA tua equipa de dados está a crescerA tua equipa gasta pelo menos 30% do seu tempo a combater problemas de qualidade de dadosA tua equipa tem mais consumidores de dados do que há um ano atrásA tua empresa está a mudar para um modelo de análise self-serviceOs dados são uma parte fundamental da proposta de valor para o clienteA qualidade dos dados começa com a confiançaResumo

Sê proactivo, não reativoPrevisões para o futuro da qualidade e fiabilidade dos dadosOs armazéns e os lagos de dados vão fundir-seEmergência de novas funções na equipa de dadosA ascensão da automatizaçãoAmbientes mais distribuídos e a ascensão dos domínios de dadosEntão, para onde vais a partir de agora?

Content preview from Fundamentos da qualidade dos dados

Capítulo 2. Montagem dos elementos constitutivos de um sistema de dados fiável

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Com Ryan Kearns

Embora a resolução de problemas de qualidade dos dados em produção seja um conjunto de competências essenciais para qualquer profissional de dados, o tempo de inatividade dos dados pode muitas vezes ser quase totalmente evitado com os sistemas e processos corretos.

Tal como o software, os dados podem depender de um grande número de influências operacionais, programáticas ou mesmo relacionadas com os dados em várias fases do pipeline, e basta uma alteração do esquema ou um aumento do código para desorganizar um relatório a jusante.

Como discutiremos no Capítulo 8, a solução para a qualidade dos dados e a criação de pipelines mais confiáveis é dividida em três componentes principais: processo, tecnologias e pessoas. Neste capítulo, abordaremos o componente tecnológico desta equação, mapeando as peças díspares do pipeline de dados e o que é necessário para medir, corrigir e evitar o tempo de inatividade dos dados em cada etapa.

Os sistemas de dados são ridiculamente complexos, com várias fases no pipeline de dados a contribuir para este caos. E à medida que as empresas investem cada vez mais em dados e análises, a pressão para construir em escala coloca uma grande pressão sobre os engenheiros de dados para que tenham em conta a qualidade antes mesmo de os dados entrarem ...