book

Fundamentos da engenharia de dados

by Joe Reis, Matt Housley

April 2025

Intermediate to advanced

450 pages

15h 24m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

O que este livro não éSobre o que é este livroQuem deve ler este livroPré-requisitosO que aprenderás e como melhorarás as tuas capacidadesComo navegar neste livroConvenções utilizadas neste livroComo contactar-nosAgradecimentos
O que é a engenharia de dados?Definição de engenharia de dadosO ciclo de vida da engenharia de dadosEvolução do engenheiro de dadosEngenharia de dados e ciência de dadosCompetências e actividades de engenharia de dadosA maturidade dos dados e o engenheiro de dadosA formação e as competências de um engenheiro de dadosResponsabilidades empresariaisResponsabilidades técnicasA continuidade das funções de engenharia de dados, de A a BEngenheiros de dados dentro de uma organizaçãoEngenheiros de dados virados para o interior versus virados para o exteriorEngenheiros de dados e outras funções técnicasEngenheiros de dados e liderança empresarialConclusãoRecursos adicionais
O que é o ciclo de vida da engenharia de dados?O ciclo de vida dos dados versus o ciclo de vida da engenharia de dadosGeração: Sistemas de origemArmazenamentoIngestãoTransformaçãoDados de serviçoPrincipais tendências no ciclo de vida da engenharia de dadosSegurançaGestão de dadosDataOpsArquitetura de dadosOrquestraçãoEngenharia de softwareConclusãoRecursos adicionais
O que é a arquitetura de dados?Definição de arquitetura empresarialDefinição da arquitetura de dados"Boa" arquitetura de dadosPrincípios de uma boa arquitetura de dadosPrincípio 1: Escolhe sabiamente os componentes comunsPrincípio 2: Planeia o fracassoPrincípio 3: Arquitetar para a escalabilidadePrincípio 4: Arquitetura é liderançaPrincípio 5: Arquitetar semprePrincípio 6: Constrói sistemas com acoplamentos frouxosPrincípio 7: Toma decisões reversíveisPrincípio 8: Dá prioridade à segurançaPrincípio 9: Adota FinOpsPrincipais conceitos de arquiteturaDomínios e serviçosSistemas distribuídos, escalabilidade e conceção para falhasAcoplamento apertado versus solto: Camadas, Monólitos e MicrosserviçosAcesso do utilizador: Único versus MultitenantArquitetura orientada para eventosProjectos Brownfield versus GreenfieldExemplos e tipos de arquitetura de dadosArmazém de dadosLago de dadosConvergência, lagos de dados da próxima geração e a plataforma de dadosPilha de dados modernaArquitetura LambdaKappa ArquiteturaO modelo de fluxo de dados e o lote unificado e o fluxo contínuoArquitetura para a IoTData MeshOutros exemplos de arquitetura de dadosQuem está envolvido na conceção de uma arquitetura de dados?ConclusãoRecursos adicionais
Dimensão e capacidades da equipaVelocidade de colocação no mercadoInteroperabilidadeOtimização de custos e valor comercialCusto total de propriedadeCusto total de oportunidade de propriedadeFinOpsHoje contra o futuro: Tecnologias imutáveis versus tecnologias transitóriasOs nossos conselhosLocalizaçãoNas instalaçõesCloudCloud híbridaMulticloudDescentralizado: Blockchain e a BordaOs nossos conselhosArgumentos sobre o repatriamento na CloudConstruir versus comprarSoftware de código abertoJardins murados proprietáriosOs nossos conselhosMonólito versus ModularMonólitoModularidadeO padrão de monólito distribuídoOs nossos conselhosSem servidor versus servidoresSem servidorContentoresComo avaliar o servidor versus o sem servidorOs nossos conselhosOtimização, desempenho e a guerra das marcas de referênciaBig Data... para os anos 90Comparações de custos absurdasOtimização assimétricaAvisa o donoAs tendências e o seu impacto na escolha de tecnologiasGestão de dadosDataOpsArquitetura de dadosExemplo de orquestração: Fluxo de arEngenharia de softwareConclusãoRecursos adicionais
Fontes de dados: Como é que os dados são criados?Sistemas de fontes: Ideias principaisFicheiros e dados não estruturadosAPIsBases de dados de aplicações (sistemas OLTP)Sistema de processamento analítico onlineAltera a captura de dadosRegistosRegistos da base de dadosCRUDApenas inserirMensagens e fluxosTipos de tempoDetalhes práticos do sistema de origemBases de dadosAPIsPartilha de dadosFontes de dados de terceirosFilas de mensagens e plataformas de transmissão de eventosCom quem vais trabalharAs correntes subterrâneas e o seu impacto nos sistemas de origemSegurançaGestão de dadosDataOpsArquitetura de dadosOrquestraçãoEngenharia de softwareConclusãoRecursos adicionais
Ingredientes brutos do armazenamento de dadosUnidade de disco magnéticoUnidade de estado sólidoMemória de acesso aleatórioNetwork+ e CPUSerializaçãoCompressãoArmazenamento em cacheSistemas de armazenamento de dadosMáquina única versus armazenamento distribuídoConsistência eventual versus consistência forteArmazenamento de ficheirosArmazenamento em blocoArmazenamento de objectosSistemas de armazenamento baseados em memória e cacheO sistema de ficheiros distribuídos HadoopArmazenamento em fluxo contínuoÍndices, particionamento e clusteringEngenharia de dados Abstrações de armazenamentoO armazém de dadosO lago de dadosO armazém de dadosPlataformas de dadosArquitetura de armazenamento Stream-to-BatchGrandes ideias e tendências em armazenamentoCatálogo de dadosPartilha de dadosEsquemaSeparação da computação do armazenamentoCiclo de vida do armazenamento de dados e retenção de dadosArmazenamento de um único inquilino versus armazenamento de vários inquilinosCom quem vais trabalharUndercurrentsSegurançaGestão de dadosDataOpsArquitetura de dadosOrquestraçãoEngenharia de softwareConclusãoRecursos adicionais
O que é a ingestão de dados?Principais considerações de engenharia para a fase de ingestãoDados delimitados versus dados não delimitadosFrequênciaIngestão síncrona versus assíncronaSerialização e desserializaçãoRendimento e escalabilidadeFiabilidade e durabilidadeCarga útilPadrões de sondagem Push Versus Pull VersusConsiderações sobre a ingestão de lotesExtração de instantâneos ou diferencialExportação e ingestão baseadas em ficheirosETL versus ELTInserções, atualizações e tamanho do loteMigração de dadosConsiderações sobre a ingestão de mensagens e fluxosEvolução do esquemaDados de chegada tardiaEncomenda e entrega múltiplaReproduzirTempo para viverTamanho da mensagemTratamento de erros e filas de cartas mortasPuxa e empurra o consumidorLocalizaçãoFormas de ingerir dadosLigação direta à base de dadosAltera a captura de dadosAPIsFilas de mensagens e plataformas de transmissão de eventosConectores de dados geridosMover dados com armazenamento de objectosEDIBases de dados e exportação de ficheirosProblemas práticos com formatos de ficheiros comunsConchaSSHSFTP e SCPWebhooksInterface WebRaspagem da WebDispositivos de transferência para migração de dadosPartilha de dadosCom quem vais trabalharPartes interessadas a montantePartes interessadas a jusanteUndercurrentsSegurançaGestão de dadosDataOpsOrquestraçãoEngenharia de softwareConclusãoRecursos adicionais

ConsultasO que é uma consulta?A vida de uma consultaO optimizador de consultasMelhorar o desempenho da consultaConsultas sobre dados em fluxo contínuoModelação de dadosO que é um modelo de dados?Modelos de dados conceptuais, lógicos e físicosNormalizaçãoTécnicas de modelação de dados analíticos em loteModelação de dados em fluxo contínuoTransformaçõesTransformações em loteVisualizações materializadas, federação e virtualização de consultasTransformações e processamento de streamingCom quem vais trabalharPartes interessadas a montantePartes interessadas a jusanteUndercurrentsSegurançaGestão de dadosDataOpsArquitetura de dadosOrquestraçãoEngenharia de softwareConclusãoRecursos adicionais
Considerações gerais sobre o fornecimento de dadosConfiaQual é o caso de utilização e quem é o utilizador?Produtos de dadosAuto-Serviço ou não?Definições de dados e lógicaData MeshAnalíticaAnálise de negóciosAnálise operacionalAnálise incorporadaAprendizagem automáticaO que um engenheiro de dados deve saber sobre MLFormas de fornecer dados para análise e MLTroca de ficheirosBases de dadosSistemas de streamingConsulta a FederaçãoPartilha de dadosCamadas semânticas e métricasServir dados em blocos de notasETL invertidoCom quem vais trabalharUndercurrentsSegurançaGestão de dadosDataOpsArquitetura de dadosOrquestraçãoEngenharia de softwareConclusãoRecursos adicionais
PessoasO poder do pensamento negativoSê sempre paranoicoProcessosTeatro de segurança versus hábito de segurançaSegurança ativaO princípio do menor privilégioResponsabilidade partilhada na CloudFaz sempre cópias de segurança dos teus dadosUm exemplo de política de segurançaTecnologiaPatches e sistemas de atualizaçãoEncriptaçãoRegisto, monitorização e alertasAcesso à redeSegurança para engenharia de dados de baixo nívelConclusãoRecursos adicionais
O ciclo de vida da engenharia de dados não vai desaparecerO declínio da complexidade e a ascensão de ferramentas de dados fáceis de utilizarO sistema operativo de dados à escala Cloud e a melhoria da interoperabilidadeEngenharia de dados "empresarial"Os títulos e as responsabilidades vão transformar-se...Ultrapassa a pilha de dados moderna e avança para a pilha de dados em tempo realA pilha de dados em diretoPipelines de fluxo contínuo e bases de dados analíticas em tempo realA fusão de dados com aplicaçõesO estreito feedback entre as aplicações e o MLDados sobre a matéria negra e a ascensão das... folhas de cálculo?!Conclusão
Formatos de serializaçãoSerialização baseada em linhasSerialização colunarSerialização híbridaMotores de armazenamento de bases de dadosCompressão: gzip, bzip2, Snappy, Etc.
Topologia de rede CloudTaxas de saída de dadosZonas de disponibilidadeRegiõesNetwork+ específico do GCP e redundância multi-regionalLigações de rede diretas às CloudsCDNsO futuro das taxas de saída de dados

Content preview from Fundamentos da engenharia de dados

Prefácio

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Como surgiu este livro? A origem está profundamente enraizada na nossa viagem da ciência de dados para a engenharia de dados. Muitas vezes, referimo-nos, em tom de brincadeira, a nós próprios como cientistas de dados em recuperação. Ambos tivemos a experiência de sermos designados para projectos de ciência de dados e depois termos dificuldade em executar esses projectos devido à falta de bases adequadas. O nosso percurso na engenharia de dados começou quando realizámos tarefas de engenharia de dados para criar bases e infra-estruturas.

Com a ascensão da ciência dos dados, as empresas gastaram muito dinheiro em talentos da ciência dos dados, na esperança de colherem grandes recompensas. Muitas vezes, os cientistas de dados debatiam-se com problemas básicos que a sua experiência e formação não resolviam - recolha de dados, limpeza de dados, acesso a dados, transformação de dados e infraestrutura de dados. Estes são problemas que a engenharia de dados pretende resolver.

O que este livro não é

Antes de falarmos sobre o que é este livro e o que vais ganhar com ele, vamos falar rapidamente sobre o que este livro não é. Este livro não é sobre engenharia de dados usando uma ferramenta, tecnologia ou plataforma específica. Embora muitos livros excelentes abordem as tecnologias de engenharia de dados a partir dessa perspetiva, esses livros têm uma vida útil curta. ...