book

Arquitetar plataformas de dados e de aprendizagem automática

by Marco Tranquillin, Valliappa Lakshmanan, Firat Tekiner

April 2025

Intermediate to advanced

362 pages

11h 24m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Porque precisas de uma Cloud Data Platform?Para quem é este livro?Organização deste livroConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
O ciclo de vida dos dadosA viagem à sabedoriaAnalogia dos canos de águaRecolheArmazenaProcessa/TransformaAnalisa/VisualizaAtivarLimitações das abordagens tradicionaisAntipadrão: Quebra de silos através de ETLAntipadrão: Centralização do controloAntipadrão: Data Marts e HadoopCriar uma plataforma analítica unificadaCloud em vez de On-PremisesDesvantagens dos Data Marts e Data LakesConvergência de DWHs e Data LakesCloud híbridaRazões pelas quais o híbrido é necessárioDesafios da Cloud híbridaPorque é que o híbrido pode funcionarComputação de pontaAplicar a IAAprendizagem automáticaUtilizações do MLPorquê Cloud para IA?Infraestrutura CloudDemocratizaçãoTempo realMLOpsPrincípios fundamentaisResumo
Etapa 1: Estratégia e planeamentoObjetivos estratégicosIdentifica as partes interessadasGestão da mudançaPasso 2: Reduzir o custo total de propriedade adoptando uma abordagem CloudPorque é que a Cloud custa menosQual é o valor da poupança?Quando é que a Cloud ajuda?Passo 3: Elimina os silosUnificar o acesso aos dadosEscolher o armazenamentoCamada semânticaPasso 4: Toma decisões em contexto mais rapidamenteLote para fluxoInformações contextuaisGestão de custosPasso 5: Avança com soluções de IA em pacoteAnálise preditivaCompreender e gerar dados não estruturadosPersonalizaçãoSoluções em pacotesPasso 6: Operacionaliza os fluxos de trabalho orientados para a IAIdentificar o equilíbrio certo entre automatização e assistênciaCriar uma cultura de dadosPreencher a tua equipa de ciência de dadosEtapa 7: Gestão de produtos para dadosAplicação dos princípios de gestão de produtos aos dados1. Compreende e mantém um mapa dos fluxos de dados na empresa2. Identifica as principais métricas3. Critérios acordados, roteiro comprometido e carteira de pedidos visionária4. Constrói para os clientes que tens5. Não transfiras o ónus da gestão da mudança6. Entrevista os clientes para descobrir as suas necessidades de dados7. Cria quadros brancos e protótipos extensivamente8. Constrói apenas o que vai ser usado de imediato9. Normaliza as entidades comuns e os KPIs10. Fornecer capacidades de autosserviço na tua plataforma de dadosResumo
Classificação das organizações de processamento de dadosOrganização orientada para a análise de dadosA visãoAs PersonasO quadro tecnológicoOrganização orientada para a engenharia de dadosA visãoAs PersonasO quadro tecnológicoOrganização orientada para a ciência dos dadosA visãoAs PersonasO quadro tecnológicoResumo
Moderniza os fluxos de trabalho de dadosVisão holísticaModerniza os fluxos de trabalhoTransforma o próprio fluxo de trabalhoUma estrutura de migração em quatro etapasPrepara-te e descobreAvalia e planeiaExecutaOptimizaEstimativa do custo total da soluçãoAuditoria das infra-estruturas existentesPedido de Informação/Proposta e OrçamentoProva de Conceito/Produto Mínimo ViávelConfigurar a segurança e a governação de dadosEstruturaArtefactosGovernação ao longo da vida dos dadosMigração de esquemas, pipelines e dadosMigração de esquemasMigração de condutasMigração de dadosFases da migraçãoResumo
Data Lake e Cloud - um casamento perfeitoDesafios dos Data Lakes no localBenefícios dos Cloud Data LakesConceção e implementaçãoLote e fluxoCatálogo de dadosHadoop LandscapeArquitetura de referência do Cloud Data LakeIntegrar o lago de dados: A verdadeira superpotênciaAPIs para alargar o lagoA evolução do Data Lake com o Apache Iceberg, Apache Hudi e Delta LakeAnálise interactiva com blocos de notasDemocratizar o processamento de dados e a elaboração de relatóriosCria confiança nos dadosA ingestão de dados ainda é uma questão de TIML no lago de dadosFormação em dados brutosPrevisão no lago de dadosResumo
Uma plataforma de dados modernaObjetivos organizacionaisDesafios tecnológicosTendências e ferramentas tecnológicasArquitetura Hub-and-SpokeIngestão de dadosInteligência empresarialTransformaçõesEstrutura organizacionalDWH para capacitar os cientistas de dadosInterface de consultaAPI de armazenamentoML sem mover os teus dadosResumo
A necessidade de uma arquitetura únicaPersonas do utilizadorAntipadrão: Sistemas desconectadosAntipadrão: Dados duplicadosArquitetura convergenteDuas formasLakehouse sobre Cloud StorageSQL-First LakehouseOs benefícios da convergênciaResumo
O valor do streamingCasos de utilização da indústriaCasos de utilização de streamingIngestão de streamingETL em fluxo contínuoStreaming ELTInserção de streamingTransmissão em fluxo contínuo a partir de dispositivos de extremidade (IoT)Sumidouros de fluxo contínuoPainéis de controlo em tempo realConsulta em diretoMaterializa algumas vistasAnálise de fluxoAnálise de séries temporaisAnálise de fluxo de cliquesDeteção de anomaliasTransmissão em fluxo resilienteInteligência contínua através de MLModelo de treino em dados em fluxo contínuoInferência ML em fluxo contínuoAcções automatizadasResumo
Porquê Multicloud?Uma única Cloud é mais simples e rentávelA multicloud é inevitávelA multicloud pode ser estratégicaPadrões de arquitetura multicloudVidraça únicaEscreve uma vez, executa em qualquer lugarPassa do On Premises para a CloudPassa das instalações para a CloudIntegração de dados através de streamingAdotar o MulticloudEstruturaEscala de tempoDefine uma arquitetura multicloud alvoPorquê o Edge Computing?Largura de banda, latência e conetividade irregularCasos de utilizaçãoBenefíciosDesafiosPadrões de arquitetura da computação periféricaDispositivos inteligentesGateways inteligentesAtivação do MLAdotar a computação periféricaO contexto inicialO projetoOs resultados finais e as próximas etapasResumo

Será este um problema de IA/ML?Subdomínios da IAIA generativaProblemas adequados ao MLCompra, adapta ou constrói?Considerações sobre os dadosQuando comprarO que podes comprar?Como funciona a adaptaçãoArquitecturas de IACompreender os dados não estruturadosGeração de dados não estruturadosPrevisão de resultadosPrevisão de valoresDeteção de anomaliasPersonalizaçãoAutomaçãoIA responsávelPrincípios da IAEquidade do MLExplicabilidadeResumo
Atividades do MLDesenvolvimento de modelos MLAmbiente de rotulagemAmbiente de desenvolvimentoAmbiente do utilizadorPreparação de dadosTreinar modelos MLImplementação de modelos MLImplantação em um ponto de extremidadeAvalia o modeloHíbrido e multicloudInclinação formação-serviçoAutomaçãoAutomatiza a formação e a implementaçãoOrquestração com pipelinesAvaliação e formação contínuasEscolher a estrutura de MLCompetências da equipaConsiderações sobre a tarefaCentrado no utilizadorResumo
Nova tecnologia para uma nova eraA necessidade de mudançaNão se trata apenas de uma questão de tecnologiaO início da viagemO ambiente atualO ambiente alvoO caso de utilização PoCAs respostas RFP propostas pelos fornecedores de CloudO ambiente alvoAbordagem em matéria de migraçãoO processo de avaliação da RFPO âmbito do PoCA execução do PoCA decisão finalPeroraçãoResumo

Content preview from Arquitetar plataformas de dados e de aprendizagem automática

Prefácio

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

O que é uma plataforma de dados? Porque é que precisas dela? O que envolve a construção de uma plataforma de dados e de aprendizagem automática (ML)? Por que razão deves construir a tua plataforma de dados na Cloud? Este livro começa por responder a estas perguntas comuns que surgem quando se lida com projectos de dados e de ML. Em seguida, apresentamos o percurso estratégico que recomendamos para criar capacidades de dados e de ML na sua empresa, mostramos como executar cada etapa dessa estratégia e resumimos todos os conceitos num caso de modernização de dados modelo.

Porque precisas de uma Cloud Data Platform?

Imagina que o diretor tecnológico (CTO) da tua empresa quer criar um novo site de comércio eletrónico compatível com telemóveis. "Estamos a perder negócios", afirma ele, "porque o nosso site não está optimizado para telemóveis, especialmente em línguas asiáticas ".

O diretor executivo (CEO) confia no CTO quando este diz que a experiência do utilizador móvel do site atual não é excelente, mas questiona se os clientes que acedem à plataforma através de telemóveis constituem um segmento rentável da população. Liga para o chefe de operações na Ásia e pergunta: "Qual é a receita e a margem de lucro dos clientes que acedem ao nosso site de comércio eletrónico através de telemóveis? Como é que a nossa receita global irá mudar no próximo ano se aumentarmos ...