book

Arquitetar plataformas de dados e de aprendizagem automática

by Marco Tranquillin, Valliappa Lakshmanan, Firat Tekiner

April 2025

Intermediate to advanced

362 pages

11h 24m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Porque precisas de uma Cloud Data Platform?Para quem é este livro?Organização deste livroConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
O ciclo de vida dos dadosA viagem à sabedoriaAnalogia dos canos de águaRecolheArmazenaProcessa/TransformaAnalisa/VisualizaAtivarLimitações das abordagens tradicionaisAntipadrão: Quebra de silos através de ETLAntipadrão: Centralização do controloAntipadrão: Data Marts e HadoopCriar uma plataforma analítica unificadaCloud em vez de On-PremisesDesvantagens dos Data Marts e Data LakesConvergência de DWHs e Data LakesCloud híbridaRazões pelas quais o híbrido é necessárioDesafios da Cloud híbridaPorque é que o híbrido pode funcionarComputação de pontaAplicar a IAAprendizagem automáticaUtilizações do MLPorquê Cloud para IA?Infraestrutura CloudDemocratizaçãoTempo realMLOpsPrincípios fundamentaisResumo
Etapa 1: Estratégia e planeamentoObjetivos estratégicosIdentifica as partes interessadasGestão da mudançaPasso 2: Reduzir o custo total de propriedade adoptando uma abordagem CloudPorque é que a Cloud custa menosQual é o valor da poupança?Quando é que a Cloud ajuda?Passo 3: Elimina os silosUnificar o acesso aos dadosEscolher o armazenamentoCamada semânticaPasso 4: Toma decisões em contexto mais rapidamenteLote para fluxoInformações contextuaisGestão de custosPasso 5: Avança com soluções de IA em pacoteAnálise preditivaCompreender e gerar dados não estruturadosPersonalizaçãoSoluções em pacotesPasso 6: Operacionaliza os fluxos de trabalho orientados para a IAIdentificar o equilíbrio certo entre automatização e assistênciaCriar uma cultura de dadosPreencher a tua equipa de ciência de dadosEtapa 7: Gestão de produtos para dadosAplicação dos princípios de gestão de produtos aos dados1. Compreende e mantém um mapa dos fluxos de dados na empresa2. Identifica as principais métricas3. Critérios acordados, roteiro comprometido e carteira de pedidos visionária4. Constrói para os clientes que tens5. Não transfiras o ónus da gestão da mudança6. Entrevista os clientes para descobrir as suas necessidades de dados7. Cria quadros brancos e protótipos extensivamente8. Constrói apenas o que vai ser usado de imediato9. Normaliza as entidades comuns e os KPIs10. Fornecer capacidades de autosserviço na tua plataforma de dadosResumo
Classificação das organizações de processamento de dadosOrganização orientada para a análise de dadosA visãoAs PersonasO quadro tecnológicoOrganização orientada para a engenharia de dadosA visãoAs PersonasO quadro tecnológicoOrganização orientada para a ciência dos dadosA visãoAs PersonasO quadro tecnológicoResumo
Moderniza os fluxos de trabalho de dadosVisão holísticaModerniza os fluxos de trabalhoTransforma o próprio fluxo de trabalhoUma estrutura de migração em quatro etapasPrepara-te e descobreAvalia e planeiaExecutaOptimizaEstimativa do custo total da soluçãoAuditoria das infra-estruturas existentesPedido de Informação/Proposta e OrçamentoProva de Conceito/Produto Mínimo ViávelConfigurar a segurança e a governação de dadosEstruturaArtefactosGovernação ao longo da vida dos dadosMigração de esquemas, pipelines e dadosMigração de esquemasMigração de condutasMigração de dadosFases da migraçãoResumo
Data Lake e Cloud - um casamento perfeitoDesafios dos Data Lakes no localBenefícios dos Cloud Data LakesConceção e implementaçãoLote e fluxoCatálogo de dadosHadoop LandscapeArquitetura de referência do Cloud Data LakeIntegrar o lago de dados: A verdadeira superpotênciaAPIs para alargar o lagoA evolução do Data Lake com o Apache Iceberg, Apache Hudi e Delta LakeAnálise interactiva com blocos de notasDemocratizar o processamento de dados e a elaboração de relatóriosCria confiança nos dadosA ingestão de dados ainda é uma questão de TIML no lago de dadosFormação em dados brutosPrevisão no lago de dadosResumo
Uma plataforma de dados modernaObjetivos organizacionaisDesafios tecnológicosTendências e ferramentas tecnológicasArquitetura Hub-and-SpokeIngestão de dadosInteligência empresarialTransformaçõesEstrutura organizacionalDWH para capacitar os cientistas de dadosInterface de consultaAPI de armazenamentoML sem mover os teus dadosResumo
A necessidade de uma arquitetura únicaPersonas do utilizadorAntipadrão: Sistemas desconectadosAntipadrão: Dados duplicadosArquitetura convergenteDuas formasLakehouse sobre Cloud StorageSQL-First LakehouseOs benefícios da convergênciaResumo
O valor do streamingCasos de utilização da indústriaCasos de utilização de streamingIngestão de streamingETL em fluxo contínuoStreaming ELTInserção de streamingTransmissão em fluxo contínuo a partir de dispositivos de extremidade (IoT)Sumidouros de fluxo contínuoPainéis de controlo em tempo realConsulta em diretoMaterializa algumas vistasAnálise de fluxoAnálise de séries temporaisAnálise de fluxo de cliquesDeteção de anomaliasTransmissão em fluxo resilienteInteligência contínua através de MLModelo de treino em dados em fluxo contínuoInferência ML em fluxo contínuoAcções automatizadasResumo
Porquê Multicloud?Uma única Cloud é mais simples e rentávelA multicloud é inevitávelA multicloud pode ser estratégicaPadrões de arquitetura multicloudVidraça únicaEscreve uma vez, executa em qualquer lugarPassa do On Premises para a CloudPassa das instalações para a CloudIntegração de dados através de streamingAdotar o MulticloudEstruturaEscala de tempoDefine uma arquitetura multicloud alvoPorquê o Edge Computing?Largura de banda, latência e conetividade irregularCasos de utilizaçãoBenefíciosDesafiosPadrões de arquitetura da computação periféricaDispositivos inteligentesGateways inteligentesAtivação do MLAdotar a computação periféricaO contexto inicialO projetoOs resultados finais e as próximas etapasResumo

Será este um problema de IA/ML?Subdomínios da IAIA generativaProblemas adequados ao MLCompra, adapta ou constrói?Considerações sobre os dadosQuando comprarO que podes comprar?Como funciona a adaptaçãoArquitecturas de IACompreender os dados não estruturadosGeração de dados não estruturadosPrevisão de resultadosPrevisão de valoresDeteção de anomaliasPersonalizaçãoAutomaçãoIA responsávelPrincípios da IAEquidade do MLExplicabilidadeResumo
Atividades do MLDesenvolvimento de modelos MLAmbiente de rotulagemAmbiente de desenvolvimentoAmbiente do utilizadorPreparação de dadosTreinar modelos MLImplementação de modelos MLImplantação em um ponto de extremidadeAvalia o modeloHíbrido e multicloudInclinação formação-serviçoAutomaçãoAutomatiza a formação e a implementaçãoOrquestração com pipelinesAvaliação e formação contínuasEscolher a estrutura de MLCompetências da equipaConsiderações sobre a tarefaCentrado no utilizadorResumo
Nova tecnologia para uma nova eraA necessidade de mudançaNão se trata apenas de uma questão de tecnologiaO início da viagemO ambiente atualO ambiente alvoO caso de utilização PoCAs respostas RFP propostas pelos fornecedores de CloudO ambiente alvoAbordagem em matéria de migraçãoO processo de avaliação da RFPO âmbito do PoCA execução do PoCA decisão finalPeroraçãoResumo

Content preview from Arquitetar plataformas de dados e de aprendizagem automática

Capítulo 9. Estendendo uma plataforma de dados usando híbridos e de borda

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Até agora, neste livro, discutimos como planejar, projetar e implementar uma plataforma de dados usando os recursos de uma Cloud pública. No entanto, há muitas situações em que uma única Cloud pública não será suficiente, porque é inerente ao caso de utilização que os dados sejam originados, processados ou armazenados noutro local - pode ser nas instalações, em vários hiperscalers ou em dispositivos inteligentes ligados, como smartphones ou sensores. Em situações como estas, há um novo desafio que tem de ser abordado: como é que se fornece uma visão holística da plataforma para que os utilizadores possam efetivamente misturar e juntar os dados espalhados por diferentes locais? Neste capítulo, aprenderás as abordagens, as técnicas e os padrões de arquitetura que a tua organização pode adotar ao lidar com estas arquitecturas distribuídas.

Além disso, há outras situações em que é necessário fazer com que os dados funcionem em um ambiente parcialmente conectado ou desconectado. Neste capítulo, aprenderás a lidar com esse tipo de situação, aproveitando uma nova abordagem, chamada computação de borda, que pode trazer uma parte dos recursos de armazenamento e computação para fora da Cloud e para mais perto do próprio sujeito que está a gerar ou a utilizar os dados.