book

Arquitetar plataformas de dados e de aprendizagem automática

by Marco Tranquillin, Valliappa Lakshmanan, Firat Tekiner

April 2025

Intermediate to advanced

362 pages

11h 24m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Porque precisas de uma Cloud Data Platform?Para quem é este livro?Organização deste livroConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
O ciclo de vida dos dadosA viagem à sabedoriaAnalogia dos canos de águaRecolheArmazenaProcessa/TransformaAnalisa/VisualizaAtivarLimitações das abordagens tradicionaisAntipadrão: Quebra de silos através de ETLAntipadrão: Centralização do controloAntipadrão: Data Marts e HadoopCriar uma plataforma analítica unificadaCloud em vez de On-PremisesDesvantagens dos Data Marts e Data LakesConvergência de DWHs e Data LakesCloud híbridaRazões pelas quais o híbrido é necessárioDesafios da Cloud híbridaPorque é que o híbrido pode funcionarComputação de pontaAplicar a IAAprendizagem automáticaUtilizações do MLPorquê Cloud para IA?Infraestrutura CloudDemocratizaçãoTempo realMLOpsPrincípios fundamentaisResumo
Etapa 1: Estratégia e planeamentoObjetivos estratégicosIdentifica as partes interessadasGestão da mudançaPasso 2: Reduzir o custo total de propriedade adoptando uma abordagem CloudPorque é que a Cloud custa menosQual é o valor da poupança?Quando é que a Cloud ajuda?Passo 3: Elimina os silosUnificar o acesso aos dadosEscolher o armazenamentoCamada semânticaPasso 4: Toma decisões em contexto mais rapidamenteLote para fluxoInformações contextuaisGestão de custosPasso 5: Avança com soluções de IA em pacoteAnálise preditivaCompreender e gerar dados não estruturadosPersonalizaçãoSoluções em pacotesPasso 6: Operacionaliza os fluxos de trabalho orientados para a IAIdentificar o equilíbrio certo entre automatização e assistênciaCriar uma cultura de dadosPreencher a tua equipa de ciência de dadosEtapa 7: Gestão de produtos para dadosAplicação dos princípios de gestão de produtos aos dados1. Compreende e mantém um mapa dos fluxos de dados na empresa2. Identifica as principais métricas3. Critérios acordados, roteiro comprometido e carteira de pedidos visionária4. Constrói para os clientes que tens5. Não transfiras o ónus da gestão da mudança6. Entrevista os clientes para descobrir as suas necessidades de dados7. Cria quadros brancos e protótipos extensivamente8. Constrói apenas o que vai ser usado de imediato9. Normaliza as entidades comuns e os KPIs10. Fornecer capacidades de autosserviço na tua plataforma de dadosResumo
Classificação das organizações de processamento de dadosOrganização orientada para a análise de dadosA visãoAs PersonasO quadro tecnológicoOrganização orientada para a engenharia de dadosA visãoAs PersonasO quadro tecnológicoOrganização orientada para a ciência dos dadosA visãoAs PersonasO quadro tecnológicoResumo
Moderniza os fluxos de trabalho de dadosVisão holísticaModerniza os fluxos de trabalhoTransforma o próprio fluxo de trabalhoUma estrutura de migração em quatro etapasPrepara-te e descobreAvalia e planeiaExecutaOptimizaEstimativa do custo total da soluçãoAuditoria das infra-estruturas existentesPedido de Informação/Proposta e OrçamentoProva de Conceito/Produto Mínimo ViávelConfigurar a segurança e a governação de dadosEstruturaArtefactosGovernação ao longo da vida dos dadosMigração de esquemas, pipelines e dadosMigração de esquemasMigração de condutasMigração de dadosFases da migraçãoResumo
Data Lake e Cloud - um casamento perfeitoDesafios dos Data Lakes no localBenefícios dos Cloud Data LakesConceção e implementaçãoLote e fluxoCatálogo de dadosHadoop LandscapeArquitetura de referência do Cloud Data LakeIntegrar o lago de dados: A verdadeira superpotênciaAPIs para alargar o lagoA evolução do Data Lake com o Apache Iceberg, Apache Hudi e Delta LakeAnálise interactiva com blocos de notasDemocratizar o processamento de dados e a elaboração de relatóriosCria confiança nos dadosA ingestão de dados ainda é uma questão de TIML no lago de dadosFormação em dados brutosPrevisão no lago de dadosResumo
Uma plataforma de dados modernaObjetivos organizacionaisDesafios tecnológicosTendências e ferramentas tecnológicasArquitetura Hub-and-SpokeIngestão de dadosInteligência empresarialTransformaçõesEstrutura organizacionalDWH para capacitar os cientistas de dadosInterface de consultaAPI de armazenamentoML sem mover os teus dadosResumo
A necessidade de uma arquitetura únicaPersonas do utilizadorAntipadrão: Sistemas desconectadosAntipadrão: Dados duplicadosArquitetura convergenteDuas formasLakehouse sobre Cloud StorageSQL-First LakehouseOs benefícios da convergênciaResumo
O valor do streamingCasos de utilização da indústriaCasos de utilização de streamingIngestão de streamingETL em fluxo contínuoStreaming ELTInserção de streamingTransmissão em fluxo contínuo a partir de dispositivos de extremidade (IoT)Sumidouros de fluxo contínuoPainéis de controlo em tempo realConsulta em diretoMaterializa algumas vistasAnálise de fluxoAnálise de séries temporaisAnálise de fluxo de cliquesDeteção de anomaliasTransmissão em fluxo resilienteInteligência contínua através de MLModelo de treino em dados em fluxo contínuoInferência ML em fluxo contínuoAcções automatizadasResumo
Porquê Multicloud?Uma única Cloud é mais simples e rentávelA multicloud é inevitávelA multicloud pode ser estratégicaPadrões de arquitetura multicloudVidraça únicaEscreve uma vez, executa em qualquer lugarPassa do On Premises para a CloudPassa das instalações para a CloudIntegração de dados através de streamingAdotar o MulticloudEstruturaEscala de tempoDefine uma arquitetura multicloud alvoPorquê o Edge Computing?Largura de banda, latência e conetividade irregularCasos de utilizaçãoBenefíciosDesafiosPadrões de arquitetura da computação periféricaDispositivos inteligentesGateways inteligentesAtivação do MLAdotar a computação periféricaO contexto inicialO projetoOs resultados finais e as próximas etapasResumo

Será este um problema de IA/ML?Subdomínios da IAIA generativaProblemas adequados ao MLCompra, adapta ou constrói?Considerações sobre os dadosQuando comprarO que podes comprar?Como funciona a adaptaçãoArquitecturas de IACompreender os dados não estruturadosGeração de dados não estruturadosPrevisão de resultadosPrevisão de valoresDeteção de anomaliasPersonalizaçãoAutomaçãoIA responsávelPrincípios da IAEquidade do MLExplicabilidadeResumo
Atividades do MLDesenvolvimento de modelos MLAmbiente de rotulagemAmbiente de desenvolvimentoAmbiente do utilizadorPreparação de dadosTreinar modelos MLImplementação de modelos MLImplantação em um ponto de extremidadeAvalia o modeloHíbrido e multicloudInclinação formação-serviçoAutomaçãoAutomatiza a formação e a implementaçãoOrquestração com pipelinesAvaliação e formação contínuasEscolher a estrutura de MLCompetências da equipaConsiderações sobre a tarefaCentrado no utilizadorResumo
Nova tecnologia para uma nova eraA necessidade de mudançaNão se trata apenas de uma questão de tecnologiaO início da viagemO ambiente atualO ambiente alvoO caso de utilização PoCAs respostas RFP propostas pelos fornecedores de CloudO ambiente alvoAbordagem em matéria de migraçãoO processo de avaliação da RFPO âmbito do PoCA execução do PoCA decisão finalPeroraçãoResumo

Content preview from Arquitetar plataformas de dados e de aprendizagem automática

Capítulo 6. Inovar com um Enterprise Data Warehouse

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

No Capítulo 3, você aprendeu que a escolha entre um data lake e um data warehouse como o componente central da plataforma de dados em Cloud se resume ao fato de sua organização priorizar a engenharia/ciência (escolha um data lake) ou a análise (escolha um DWH). No Capítulo 5, focamos no conceito de lago de dados como um elemento central no design de uma plataforma de dados. Neste capítulo, aprenderá a abordar os mesmos problemas de custo, democratização, flexibilidade e governação utilizando um armazém de dados moderno como elemento central.

Começaremos com uma rápida recapitulação dos problemas que estão a ser resolvidos com a construção de uma plataforma de dados e discutiremos as tendências tecnológicas que tornam um DWH Cloud uma solução apelativa. Em seguida, analisaremos em profundidade o aspeto de uma arquitetura DWH moderna e a forma como pode efetivamente capacitar analistas de dados e cientistas de dados com ela.

Uma plataforma de dados moderna

Sempre que empreender um grande projeto tecnológico, deve começar por perguntar a si próprio quais os objectivos comerciais que pretende atingir, quais os desafios tecnológicos actuais e quais as tendências tecnológicas que pretende aproveitar. Nesta secção, vamos concentrar-nos em ajudar-te a compreender como abordar estas questões ao construir uma plataforma ...