book

Arquitetar plataformas de dados e de aprendizagem automática

by Marco Tranquillin, Valliappa Lakshmanan, Firat Tekiner

April 2025

Intermediate to advanced

362 pages

11h 24m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Porque precisas de uma Cloud Data Platform?Para quem é este livro?Organização deste livroConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
O ciclo de vida dos dadosA viagem à sabedoriaAnalogia dos canos de águaRecolheArmazenaProcessa/TransformaAnalisa/VisualizaAtivarLimitações das abordagens tradicionaisAntipadrão: Quebra de silos através de ETLAntipadrão: Centralização do controloAntipadrão: Data Marts e HadoopCriar uma plataforma analítica unificadaCloud em vez de On-PremisesDesvantagens dos Data Marts e Data LakesConvergência de DWHs e Data LakesCloud híbridaRazões pelas quais o híbrido é necessárioDesafios da Cloud híbridaPorque é que o híbrido pode funcionarComputação de pontaAplicar a IAAprendizagem automáticaUtilizações do MLPorquê Cloud para IA?Infraestrutura CloudDemocratizaçãoTempo realMLOpsPrincípios fundamentaisResumo
Etapa 1: Estratégia e planeamentoObjetivos estratégicosIdentifica as partes interessadasGestão da mudançaPasso 2: Reduzir o custo total de propriedade adoptando uma abordagem CloudPorque é que a Cloud custa menosQual é o valor da poupança?Quando é que a Cloud ajuda?Passo 3: Elimina os silosUnificar o acesso aos dadosEscolher o armazenamentoCamada semânticaPasso 4: Toma decisões em contexto mais rapidamenteLote para fluxoInformações contextuaisGestão de custosPasso 5: Avança com soluções de IA em pacoteAnálise preditivaCompreender e gerar dados não estruturadosPersonalizaçãoSoluções em pacotesPasso 6: Operacionaliza os fluxos de trabalho orientados para a IAIdentificar o equilíbrio certo entre automatização e assistênciaCriar uma cultura de dadosPreencher a tua equipa de ciência de dadosEtapa 7: Gestão de produtos para dadosAplicação dos princípios de gestão de produtos aos dados1. Compreende e mantém um mapa dos fluxos de dados na empresa2. Identifica as principais métricas3. Critérios acordados, roteiro comprometido e carteira de pedidos visionária4. Constrói para os clientes que tens5. Não transfiras o ónus da gestão da mudança6. Entrevista os clientes para descobrir as suas necessidades de dados7. Cria quadros brancos e protótipos extensivamente8. Constrói apenas o que vai ser usado de imediato9. Normaliza as entidades comuns e os KPIs10. Fornecer capacidades de autosserviço na tua plataforma de dadosResumo
Classificação das organizações de processamento de dadosOrganização orientada para a análise de dadosA visãoAs PersonasO quadro tecnológicoOrganização orientada para a engenharia de dadosA visãoAs PersonasO quadro tecnológicoOrganização orientada para a ciência dos dadosA visãoAs PersonasO quadro tecnológicoResumo
Moderniza os fluxos de trabalho de dadosVisão holísticaModerniza os fluxos de trabalhoTransforma o próprio fluxo de trabalhoUma estrutura de migração em quatro etapasPrepara-te e descobreAvalia e planeiaExecutaOptimizaEstimativa do custo total da soluçãoAuditoria das infra-estruturas existentesPedido de Informação/Proposta e OrçamentoProva de Conceito/Produto Mínimo ViávelConfigurar a segurança e a governação de dadosEstruturaArtefactosGovernação ao longo da vida dos dadosMigração de esquemas, pipelines e dadosMigração de esquemasMigração de condutasMigração de dadosFases da migraçãoResumo
Data Lake e Cloud - um casamento perfeitoDesafios dos Data Lakes no localBenefícios dos Cloud Data LakesConceção e implementaçãoLote e fluxoCatálogo de dadosHadoop LandscapeArquitetura de referência do Cloud Data LakeIntegrar o lago de dados: A verdadeira superpotênciaAPIs para alargar o lagoA evolução do Data Lake com o Apache Iceberg, Apache Hudi e Delta LakeAnálise interactiva com blocos de notasDemocratizar o processamento de dados e a elaboração de relatóriosCria confiança nos dadosA ingestão de dados ainda é uma questão de TIML no lago de dadosFormação em dados brutosPrevisão no lago de dadosResumo
Uma plataforma de dados modernaObjetivos organizacionaisDesafios tecnológicosTendências e ferramentas tecnológicasArquitetura Hub-and-SpokeIngestão de dadosInteligência empresarialTransformaçõesEstrutura organizacionalDWH para capacitar os cientistas de dadosInterface de consultaAPI de armazenamentoML sem mover os teus dadosResumo
A necessidade de uma arquitetura únicaPersonas do utilizadorAntipadrão: Sistemas desconectadosAntipadrão: Dados duplicadosArquitetura convergenteDuas formasLakehouse sobre Cloud StorageSQL-First LakehouseOs benefícios da convergênciaResumo
O valor do streamingCasos de utilização da indústriaCasos de utilização de streamingIngestão de streamingETL em fluxo contínuoStreaming ELTInserção de streamingTransmissão em fluxo contínuo a partir de dispositivos de extremidade (IoT)Sumidouros de fluxo contínuoPainéis de controlo em tempo realConsulta em diretoMaterializa algumas vistasAnálise de fluxoAnálise de séries temporaisAnálise de fluxo de cliquesDeteção de anomaliasTransmissão em fluxo resilienteInteligência contínua através de MLModelo de treino em dados em fluxo contínuoInferência ML em fluxo contínuoAcções automatizadasResumo
Porquê Multicloud?Uma única Cloud é mais simples e rentávelA multicloud é inevitávelA multicloud pode ser estratégicaPadrões de arquitetura multicloudVidraça únicaEscreve uma vez, executa em qualquer lugarPassa do On Premises para a CloudPassa das instalações para a CloudIntegração de dados através de streamingAdotar o MulticloudEstruturaEscala de tempoDefine uma arquitetura multicloud alvoPorquê o Edge Computing?Largura de banda, latência e conetividade irregularCasos de utilizaçãoBenefíciosDesafiosPadrões de arquitetura da computação periféricaDispositivos inteligentesGateways inteligentesAtivação do MLAdotar a computação periféricaO contexto inicialO projetoOs resultados finais e as próximas etapasResumo

Será este um problema de IA/ML?Subdomínios da IAIA generativaProblemas adequados ao MLCompra, adapta ou constrói?Considerações sobre os dadosQuando comprarO que podes comprar?Como funciona a adaptaçãoArquitecturas de IACompreender os dados não estruturadosGeração de dados não estruturadosPrevisão de resultadosPrevisão de valoresDeteção de anomaliasPersonalizaçãoAutomaçãoIA responsávelPrincípios da IAEquidade do MLExplicabilidadeResumo
Atividades do MLDesenvolvimento de modelos MLAmbiente de rotulagemAmbiente de desenvolvimentoAmbiente do utilizadorPreparação de dadosTreinar modelos MLImplementação de modelos MLImplantação em um ponto de extremidadeAvalia o modeloHíbrido e multicloudInclinação formação-serviçoAutomaçãoAutomatiza a formação e a implementaçãoOrquestração com pipelinesAvaliação e formação contínuasEscolher a estrutura de MLCompetências da equipaConsiderações sobre a tarefaCentrado no utilizadorResumo
Nova tecnologia para uma nova eraA necessidade de mudançaNão se trata apenas de uma questão de tecnologiaO início da viagemO ambiente atualO ambiente alvoO caso de utilização PoCAs respostas RFP propostas pelos fornecedores de CloudO ambiente alvoAbordagem em matéria de migraçãoO processo de avaliação da RFPO âmbito do PoCA execução do PoCA decisão finalPeroraçãoResumo

Content preview from Arquitetar plataformas de dados e de aprendizagem automática

Capítulo 8. Arquiteturas para streaming

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Neste capítulo, você aprenderá por que a tendência do setor está inexoravelmente se afastando do lote e indo para o streaming. Discutiremos diferentes arquiteturas de streaming e como escolher entre elas. Também vamos nos aprofundar em duas dessas arquiteturas - micro-batching e pipelines de streaming - e discutir como oferecer suporte a consultas ad hoc em tempo real nessas duas arquiteturas. Finalmente, às vezes a razão para fazer streaming é tomar alguma ação de forma autônoma quando certos eventos acontecem, e discutiremos como arquitetar tais sistemas automatizados.

O valor do streaming

As empresas ao longo de todo o espetro de maturidade tecnológica, desde os nativos digitais até às empresas mais tradicionais, em muitos sectores, estão a reconhecer o valor crescente de tomar decisões mais rápidas. Por exemplo, considera a empresa A, que demora três dias a aprovar um empréstimo automóvel. A empresa B, por outro lado, aprova ou recusa um empréstimo em minutos. Essa maior comodidade levará a empresa B a ter uma vantagem competitiva.

Ainda melhor do que decisões mais rápidas é a capacidade de tomar decisões em contexto. Ser capaz de tomar decisões enquanto o evento está a decorrer (ver Figura 8-1) é significativamente mais valioso do que tomar a decisão mesmo alguns minutos mais tarde. Por exemplo, se conseguires detetar ...