book

Automatizar a monitorização da qualidade dos dados

by Jeremy Stanley, Paige Schwartz

March 2025

Intermediate to advanced

220 pages

6h 43m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Read now

Unlock full access

Quem deve utilizar este livroConvenções utilizadas neste livroAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
Dados de alta qualidade são o novo ouroAs empresas orientadas para os dados são as disruptivas de hojeA análise de dados está democratizadaA IA e a aprendizagem automática são diferenciadoresAs empresas estão investindo em uma pilha de dados modernaMais dados, mais problemasProblemas no interior da fábrica de dadosMigrações de dadosFontes de dados de terceirosCrescimento e mudança da empresaFactores exógenosPorque precisamos de monitorizar a qualidade dos dadosCicatrizes de dadosChoques de dadosAutomatizar a monitorização da qualidade dos dados: A nova fronteira
Requisitos de monitorizaçãoObservabilidade dos dados: Necessário, mas não suficienteAbordagens tradicionais à qualidade dos dadosDeteção manual da qualidade dos dadosTestes baseados em regrasMonitorização de métricasAutomatização da monitorização da qualidade dos dados com aprendizagem automática não supervisionadaO que é a aprendizagem automática não supervisionada?Uma analogia: Avisos de saída da faixa de rodagemOs limites da automatizaçãoUma abordagem de quatro pilares para a monitorização da qualidade dos dados
Avaliar os teus dadosVolumeVariedadeVelocidadeVeracidadeCasos especiaisAvaliar o teu sectorPressão regulamentarRiscos de IA/MLDados como um produtoAvaliar a maturidade dos teus dadosAvaliação dos benefícios para as partes interessadasEngenheirosLiderança de dadosCientistasConsumidoresRealização de uma análise do ROIMedidas quantitativasMedidas qualitativasConclusão
RequisitosSensibilidadeEspecificidadeTransparênciaEscalabilidadeNão requisitosA monitorização da qualidade dos dados não é uma deteção de anomaliasAbordagem e algoritmo de MLAmostragem de dadosCodificação de caraterísticasDesenvolvimento de modelosExplicabilidade do modeloJuntando tudo com pseudocódigoOutras aplicaçõesConclusão
Desafios e atenuações dos dadosSazonalidadeCaraterísticas baseadas no tempoTabelas caóticasTabelas actualizadas no localCorrelações de colunasTeste de modelosInjetar problemas sintéticosAvaliação comparativaMelhorar o modeloConclusão
Como as notificações facilitam a resposta a problemas de dadosTriagemEncaminhamentoResoluçãoDocumentaçãoTomar medidas sem notificaçõesAnatomia de uma notificaçãoVisualizaçãoAcçõesDescrição do textoQuem criou/última vez que editou o chequeEntrega de notificaçõesAudiência de notificaçãoCanais de notificaçãoTempo de notificaçãoEvitar a fadiga de alertaProgramar os controlos pela ordem corretaAgrupamento de alertas utilizando a aprendizagem automáticaSuprimir notificaçõesAutomatizando a análise da causa raizConclusão
Monitorizar a tua pilha de dadosArmazéns de dadosIntegração com Data WarehousesSegurançaReconciliação de dados em vários armazénsOrquestradores de dadosIntegração com OrquestradoresCatálogos de dadosIntegração com catálogosConsumidores de dadosFerramentas analíticas e de BIMLOpsConclusão
Construir versus comprarModelos de implantação do fornecedorConfiguraçãoDeterminar quais tabelas são mais importantesDecidir que dados de uma tabela devem ser monitorizadosConfiguração em escalaCapacitaçãoFunções e permissões do utilizadorIntegração, formação e apoioMelhorar a qualidade dos dados ao longo do tempoIniciativasMétricasDo caos à clareza

Questões de mesaChegada tardiaAlterações do esquemaMudanças indetectáveisProblemas de linhaLinhas incompletasLinhas duplicadasInconsistência temporalQuestões de valorValores em faltaValores incorrectosValores inválidosQuestões múltiplasFalhas relacionaisFontes inconsistentes

Content preview from Automatizar a monitorização da qualidade dos dados

Sobre os autores

Jeremy Stanley é cofundador e CTO da Anomalo. Antes da Anomalo, Jeremy foi vice-presidente de ciência de dados da Instacart, onde liderou o aprendizado de máquina e conduziu várias iniciativas para melhorar a lucratividade da empresa. Anteriormente, liderou a ciência e engenharia de dados noutras empresas de hipercrescimento, como a Sailthru e a Collective. Aplicou tecnologias de aprendizagem automática e IA a tudo, desde seguros e contabilidade a tecnologia de anúncios e logística de entrega de última milha. É também um reconhecido líder de pensamento na comunidade de ciência de dados com posts de blog extremamente populares como "Deep Learning with Emojis (Not Math)". O Jeremy é licenciado em Matemática pela Universidade Estatal de Wichita e tem um MBA da Universidade de Columbia. Podes encontrar o Jeremy no LinkedIn e no X (anteriormente conhecido como Twitter).

Paige Schwartz é redatora técnica profissional na Anomalo e já escreveu para clientes como a Airbnb, Grammarly e OpenAI. É especialista em comunicar tópicos complexos de engenharia de software a um público geral e passou a sua carreira a trabalhar com aprendizagem automática e sistemas de dados, incluindo cinco anos como gestora de produtos na Pesquisa Google. Tem um bacharelato conjunto em ciências informáticas e inglês da UC Berkeley.