book

Arquitetar plataformas de dados e de aprendizagem automática

by Marco Tranquillin, Valliappa Lakshmanan, Firat Tekiner

April 2025

Intermediate to advanced

362 pages

11h 24m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Porque precisas de uma Cloud Data Platform?Para quem é este livro?Organização deste livroConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
O ciclo de vida dos dadosA viagem à sabedoriaAnalogia dos canos de águaRecolheArmazenaProcessa/TransformaAnalisa/VisualizaAtivarLimitações das abordagens tradicionaisAntipadrão: Quebra de silos através de ETLAntipadrão: Centralização do controloAntipadrão: Data Marts e HadoopCriar uma plataforma analítica unificadaCloud em vez de On-PremisesDesvantagens dos Data Marts e Data LakesConvergência de DWHs e Data LakesCloud híbridaRazões pelas quais o híbrido é necessárioDesafios da Cloud híbridaPorque é que o híbrido pode funcionarComputação de pontaAplicar a IAAprendizagem automáticaUtilizações do MLPorquê Cloud para IA?Infraestrutura CloudDemocratizaçãoTempo realMLOpsPrincípios fundamentaisResumo
Etapa 1: Estratégia e planeamentoObjetivos estratégicosIdentifica as partes interessadasGestão da mudançaPasso 2: Reduzir o custo total de propriedade adoptando uma abordagem CloudPorque é que a Cloud custa menosQual é o valor da poupança?Quando é que a Cloud ajuda?Passo 3: Elimina os silosUnificar o acesso aos dadosEscolher o armazenamentoCamada semânticaPasso 4: Toma decisões em contexto mais rapidamenteLote para fluxoInformações contextuaisGestão de custosPasso 5: Avança com soluções de IA em pacoteAnálise preditivaCompreender e gerar dados não estruturadosPersonalizaçãoSoluções em pacotesPasso 6: Operacionaliza os fluxos de trabalho orientados para a IAIdentificar o equilíbrio certo entre automatização e assistênciaCriar uma cultura de dadosPreencher a tua equipa de ciência de dadosEtapa 7: Gestão de produtos para dadosAplicação dos princípios de gestão de produtos aos dados1. Compreende e mantém um mapa dos fluxos de dados na empresa2. Identifica as principais métricas3. Critérios acordados, roteiro comprometido e carteira de pedidos visionária4. Constrói para os clientes que tens5. Não transfiras o ónus da gestão da mudança6. Entrevista os clientes para descobrir as suas necessidades de dados7. Cria quadros brancos e protótipos extensivamente8. Constrói apenas o que vai ser usado de imediato9. Normaliza as entidades comuns e os KPIs10. Fornecer capacidades de autosserviço na tua plataforma de dadosResumo
Classificação das organizações de processamento de dadosOrganização orientada para a análise de dadosA visãoAs PersonasO quadro tecnológicoOrganização orientada para a engenharia de dadosA visãoAs PersonasO quadro tecnológicoOrganização orientada para a ciência dos dadosA visãoAs PersonasO quadro tecnológicoResumo
Moderniza os fluxos de trabalho de dadosVisão holísticaModerniza os fluxos de trabalhoTransforma o próprio fluxo de trabalhoUma estrutura de migração em quatro etapasPrepara-te e descobreAvalia e planeiaExecutaOptimizaEstimativa do custo total da soluçãoAuditoria das infra-estruturas existentesPedido de Informação/Proposta e OrçamentoProva de Conceito/Produto Mínimo ViávelConfigurar a segurança e a governação de dadosEstruturaArtefactosGovernação ao longo da vida dos dadosMigração de esquemas, pipelines e dadosMigração de esquemasMigração de condutasMigração de dadosFases da migraçãoResumo
Data Lake e Cloud - um casamento perfeitoDesafios dos Data Lakes no localBenefícios dos Cloud Data LakesConceção e implementaçãoLote e fluxoCatálogo de dadosHadoop LandscapeArquitetura de referência do Cloud Data LakeIntegrar o lago de dados: A verdadeira superpotênciaAPIs para alargar o lagoA evolução do Data Lake com o Apache Iceberg, Apache Hudi e Delta LakeAnálise interactiva com blocos de notasDemocratizar o processamento de dados e a elaboração de relatóriosCria confiança nos dadosA ingestão de dados ainda é uma questão de TIML no lago de dadosFormação em dados brutosPrevisão no lago de dadosResumo
Uma plataforma de dados modernaObjetivos organizacionaisDesafios tecnológicosTendências e ferramentas tecnológicasArquitetura Hub-and-SpokeIngestão de dadosInteligência empresarialTransformaçõesEstrutura organizacionalDWH para capacitar os cientistas de dadosInterface de consultaAPI de armazenamentoML sem mover os teus dadosResumo
A necessidade de uma arquitetura únicaPersonas do utilizadorAntipadrão: Sistemas desconectadosAntipadrão: Dados duplicadosArquitetura convergenteDuas formasLakehouse sobre Cloud StorageSQL-First LakehouseOs benefícios da convergênciaResumo
O valor do streamingCasos de utilização da indústriaCasos de utilização de streamingIngestão de streamingETL em fluxo contínuoStreaming ELTInserção de streamingTransmissão em fluxo contínuo a partir de dispositivos de extremidade (IoT)Sumidouros de fluxo contínuoPainéis de controlo em tempo realConsulta em diretoMaterializa algumas vistasAnálise de fluxoAnálise de séries temporaisAnálise de fluxo de cliquesDeteção de anomaliasTransmissão em fluxo resilienteInteligência contínua através de MLModelo de treino em dados em fluxo contínuoInferência ML em fluxo contínuoAcções automatizadasResumo
Porquê Multicloud?Uma única Cloud é mais simples e rentávelA multicloud é inevitávelA multicloud pode ser estratégicaPadrões de arquitetura multicloudVidraça únicaEscreve uma vez, executa em qualquer lugarPassa do On Premises para a CloudPassa das instalações para a CloudIntegração de dados através de streamingAdotar o MulticloudEstruturaEscala de tempoDefine uma arquitetura multicloud alvoPorquê o Edge Computing?Largura de banda, latência e conetividade irregularCasos de utilizaçãoBenefíciosDesafiosPadrões de arquitetura da computação periféricaDispositivos inteligentesGateways inteligentesAtivação do MLAdotar a computação periféricaO contexto inicialO projetoOs resultados finais e as próximas etapasResumo

Será este um problema de IA/ML?Subdomínios da IAIA generativaProblemas adequados ao MLCompra, adapta ou constrói?Considerações sobre os dadosQuando comprarO que podes comprar?Como funciona a adaptaçãoArquitecturas de IACompreender os dados não estruturadosGeração de dados não estruturadosPrevisão de resultadosPrevisão de valoresDeteção de anomaliasPersonalizaçãoAutomaçãoIA responsávelPrincípios da IAEquidade do MLExplicabilidadeResumo
Atividades do MLDesenvolvimento de modelos MLAmbiente de rotulagemAmbiente de desenvolvimentoAmbiente do utilizadorPreparação de dadosTreinar modelos MLImplementação de modelos MLImplantação em um ponto de extremidadeAvalia o modeloHíbrido e multicloudInclinação formação-serviçoAutomaçãoAutomatiza a formação e a implementaçãoOrquestração com pipelinesAvaliação e formação contínuasEscolher a estrutura de MLCompetências da equipaConsiderações sobre a tarefaCentrado no utilizadorResumo
Nova tecnologia para uma nova eraA necessidade de mudançaNão se trata apenas de uma questão de tecnologiaO início da viagemO ambiente atualO ambiente alvoO caso de utilização PoCAs respostas RFP propostas pelos fornecedores de CloudO ambiente alvoAbordagem em matéria de migraçãoO processo de avaliação da RFPO âmbito do PoCA execução do PoCA decisão finalPeroraçãoResumo

Content preview from Arquitetar plataformas de dados e de aprendizagem automática

Capítulo 7. Convergindo para uma casa no lago

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Como já sabes, existem duas abordagens principais que as organizações podem adotar ao conceber a sua plataforma de dados: seguir um lago de dados ou um paradigma DWH. Ambas as abordagens têm prós e contras, mas a questão é: é possível fazer com que ambas as tecnologias coexistam para ter uma arquitetura convergente? Neste capítulo, exploraremos esse tópico, começando com uma breve motivação para essa ideia e, em seguida, analisaremos duas variantes amplas da arquitetura convergente - conhecida comoarquitetura lakehouse - eajudaremos você a decidir como escolher entre elas.

O conceito de lakehouse está se tornando cada vez mais popular porque permite uma maneira mais flexível e escalável de armazenar e analisar dados estruturados, semiestruturados e não estruturados em escala. Um lakehouse pode lidar com todo o ciclo de vida dos dados estruturados e não estruturados, combinando o melhor das abordagens de data lake e DWH que aprendeste nos dois capítulos anteriores de uma forma governada. No final deste capítulo, descreveremos como evoluir para a arquitetura de lakehouse.

A necessidade de uma arquitetura única

Os lagos de dados e os DWH surgiram para satisfazer as necessidades de diferentes utilizadores. Uma organização com ambos os tipos de utilizadores vê-se confrontada com uma escolha pouco apelativa.