book

Construindo sistemas de aprendizado de máquina com um armazenamento de recursos

Name: Construindo sistemas de aprendizado de máquina com um armazenamento de recursos
Author: Jim Dowling
ISBN: 0642572279530

by Jim Dowling

November 2025

Intermediate to advanced

508 pages

15h 54m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Read now

Unlock full access

Prefácio
Por que escrevi este livro?Público-alvo deste livroO que este livro não éEstrutura do livroConvenções usadas neste livroUsando exemplos de códigoAprendizagem online da O’ReillyComo entrar em contato conoscoAgradecimentos
I. A arquitetura do pipeline FTI para sistemas de aprendizado de máquina
1. Construindo sistemas de aprendizado de máquina
A anatomia de um sistema de aprendizado de máquinaTipos de aprendizado de máquinaFontes de dadosDados mutáveisUma breve história dos sistemas de aprendizado de máquinaMLOps e LLMOpsUma arquitetura unificada para sistemas de IA: pipelines de recursos, treinamento e inferênciaClasses de sistemas de IA com um repositório de recursosEstruturas e infraestrutura de aprendizado de máquina usadas neste livroResumo
2. Pipelines de aprendizado de máquina
Construindo sistemas de ML com pipelines de MLServiço de previsão mínima viávelEscrevendo código modular para pipelines de MLUma taxonomia para transformações de dados em pipelines de MLTipos de recursos e transformações dependentes do modeloRecursos reutilizáveis com transformações independentes do modeloRecursos em tempo real com transformações sob demandaA taxonomia de transformação de ML e pipelines de MLPipelines de recursosPipelines de treinamentoPipelines de inferênciaSobrevivência no Titanic como um sistema de ML construído com pipelines de MLResumo
3. Seu serviço amigável de previsão da qualidade do ar na vizinhança
Visão geral do sistema de IADados sobre a qualidade do arAnálise exploratória de conjuntos de dadosDados de qualidade do arDados meteorológicosCriação e preenchimento de grupos de recursosPipeline de recursosPipeline de treinamentoPipeline de inferência em loteExecutando os pipelinesAgendamento dos pipelines como uma ação do GitHubCriação do painel como uma página do GitHubChamada de funções com LLMsResumo e exercícios
II. Armazenamento de recursos
4. Armazenamento de recursos
Um armazenamento de recursos para previsão de fraudesBreve história dos repositórios de recursosA anatomia de um armazenamento de recursosQuando você precisa de um armazenamento de recursos?Para contexto e histórico em sistemas de ML em tempo realPara dados de séries temporaisPara melhorar a colaboração com a arquitetura de pipeline da FTIPara governança de sistemas de MLPara descoberta e reutilização de ativos de IAPara eliminar o desvio de recursos offline-onlinePara centralizar seus dados para IA em uma única plataformaGrupos de recursosGrupos de recursos armazenam dados de recursos não transformadosDefinições de recursos e grupos de recursosGravação em grupos de recursosModelos de dados para grupos de recursosModelagem de dimensões com um data mart de cartões de créditoSistema de ML para detecção de fraudes com cartão de crédito em tempo realModelo de dados do repositório de recursos para inferênciaInferência onlineInferência em loteLendo dados de recursos com uma visualização de recursosDados de treinamento corretos em um determinado momento com visualizações de recursosInferência online com uma visualização de recursosResumo e exercícios
5. Banco de recursos Hopsworks
Projetos HopsworksArmazenamento de arquivos em um projetoControle de acesso dentro de projetosControle de acesso no nível do cluster usando projetosGrupos de recursosControle de versõesArmazenamento onlineLoja offline (tabelas Lakehouse)Captura de alterações de dados para grupos de recursosVisualizações de recursosSeleção de recursosTransformações dependentes do modeloCriação de visualizações de recursosDados de treinamento como DataFrames ou arquivosDados de inferência em loteDados de inferência onlineConsultas mais rápidas para dados de recursosResumo e exercícios
III. Transformações de dados
6. Transformações independentes de modelo
Organização do código-fontePipelines de recursosTransformações de dados para DataFramesTransformações que preservam o tamanho da linhaTransformações que reduzem o tamanho das linhas e colunasTransformações que aumentam o tamanho das linhas/colunasTransformações de junçãoDAG de funções de recursosDataFrames preguiçososComputação vetorizada, multicore e ArrowTipos de dadosRecursos de fraude de cartão de créditoComposição de transformaçõesResumo e exercícios

7. Transformações dependentes de modelo e sob demanda
Transformações de recursosCodificação de variáveis categóricasDistribuições de variáveis numéricasTransformando variáveis numéricasArmazenando dados de características transformadas em um grupo de característicasTransformações específicas do modeloMétodos de tratamento de valores atípicosImputação de valores ausentesLimpeza de dados como transformações baseadas em modelosTransformações dependentes de destino/rótuloRecursos caros são calculados quando necessárioTokenizadores e modelos de chat para LLMsTransformações nos pipelines do Scikit-LearnTransformações em visualizações de recursosTransformações sob demandaTransformações no PyTorchUsando o pytestTestes unitáriosUma metodologia de testeResumo e exercícios
8. Pipelines de recursos em lote
Pipelines de recursos em lotePipeline de recursos Fontes de dadosFontes de dados em loteFontes de dados de streamingDados não estruturados em armazenamentos de objetos e sistemas de arquivosFontes de API e SaaSDados sintéticos de cartão de crédito com LLMsUm modelo lógico para o data mart e o LLMPrompts do LLM para gerar os dados sintéticosPreenchimento retroativo e atualizações incrementaisPolling e CDC para dados incrementaisPreenchimento e processamento incremental em um único programaOrquestradores de tarefasModalTrabalhos do HopsworksOrquestradores de fluxo de trabalhoAirflowCloud Provider Orquestradores de fluxo de trabalhoContratos de dadosValidação de dados com grandes expectativas no HopsworksResumo e exercícios
9. Recursos de streaming e em tempo real
Sistemas interativos habilitados para IA precisam de recursos em tempo realPlataformas de streaming de eventosShift Left ou Shift Right?Arquiteturas Shift-RightArquiteturas Shift-LeftEscrevendo pipelines de recursos de streamingProgramação de fluxo de dadosTransformações de dados sem estado e com estadoApache FlinkFelderaAgregações em janelasAgregações contínuasAgregações de janela de tempoEscolhendo o melhor tipo de janela para agregaçõesAgregações contínuas com visualizações incrementaisRecursos de streaming para fraudes com cartão de créditoJunções ASOF e composição de transformaçõesRecursos defasados e pipelines de recursos no FelderaResumo e exercícios
IV. Modelos de treinamento
10. Pipelines de treinamento
Dados não estruturados e rótulos em grupos de recursosAprendizado auto-supervisionado e não supervisionadoA aprendizagem supervisionada precisa de um rótuloGrupos de recursos raiz e rótuloSeleção de recursosDados de treinamentoDivisão dos dados de treinamentoDados de treinamento reproduzíveisTreinamento de modelosArquitetura do modeloPontos de verificação para se recuperar de falhasAjuste de hiperparâmetros com Ray TuneTreinamento distribuído com RayAjuste eficiente de parâmetros de LLMsModelo de fraude de cartão de crédito com XGBoostIdentificação de gargalos no treinamento distribuídoAvaliação e validação do modeloDesempenho do modelo para classificação e regressãoInterpretabilidade do modeloTestes de viés do modeloFormatos de arquivo do modelo e o registro do modeloCartões de modeloResumo e exercícios
V. Inferência e agentes
11. Pipelines de inferência
Pipelines de inferência em lotePrevisões em lote para um intervalo de tempoPrevisões em lote para entidadesDimensionamento da inferência em lote com PySparkModelagem de dados para inferência em loteInferência em lote para redes neuraisInferência em lote para LLMsPipelines de inferência onlineGarantir a consistência offline-online para bibliotecasImplantação de modelos com FastAPIImplantações LLMAPI de implantação para modelos e visualizações de recursosEstruturas de serviço de modelos com KServeDesempenho e tratamento de falhasUDFs de modo mistoUDFs nativas e Log-and-WaitTratamento de falhas em pipelines de inferência onlineSLOs de implantação de modelosInferência com modelos incorporadosAplicativos incorporados habilitados para IAAplicativos habilitados para IA com processamento de fluxoUIs para aplicativos habilitados para IA em PythonResumo e exercícios
12. Agentes e fluxos de trabalho LLM
Van LLMs naar agentsGerenciamento de promptsEngenharia de promptsJanela de contextoAgentes e fluxos de trabalho com LlamaIndexGeração aumentada por recuperaçãoRecuperação com um armazenamento de documentosRecuperação com um armazenamento de recursosRecuperação com um banco de dados gráficoFerramentas e LLMs de chamada de funçãoProtocolo de contexto do modeloProtocolo agente a agente (A2A)De fluxos de trabalho LLM a agentesPlanejamentoDesafios de segurançaRepresentações específicas do domínio (intermediárias)Um processo de desenvolvimento para agentesImplantações de agentes no HopsworksResumo e exercícios
VI. MLOps e LLMOps
13. Testes de sistemas de IA
Testes offlineDo desenvolvimento à produçãoContainerização automática e tarefasAmbientes e trabalhos no HopsworksTrabalhos modaisTestes de CI/CD para sistemas de IATestes de pipeline de recursosTestes de pipeline de treinamento para desempenho e viés do modeloTestes de implantação de modelosTestes A/B para inferência em loteAvaliações para agentesGovernançaTags esquematizadasLinhagemControle de versõesRegistros de auditoriaResumo e exercícios
14. Observabilidade e monitoramento de sistemas de IA
Registro e métricas para modelos de MLRegistro para modelos em lote e onlineMétricas para modelos onlineMétricas para modelos em loteRecursos e modelos de monitoramentoDesvio na ingestão de dadosDesvio de recurso univariadoDesvio de recurso multivariávelMonitoramento de incorporações de vetorMonitoramento de modelos com NannyMLQuando retreinar ou redesenhar um modeloRegistro e métricas para agentesDe logs a rastreamentos com agentesAnálise de errosBarreiras de proteçãoTestes A/B onlineJailbreak e injeção de promptsMétricas LLMResumo e exercícios
15. Recomendador personalizado do TikTok: o sistema de IA mais valioso do mundo
Introdução aos RecomendadoresUm Recomendador TikTok com a Arquitetura de Recuperação e ClassificaçãoRecomendador personalizado em tempo realPipelines de recursosPipelines de treinamentoPipeline de inferência onlinePesquisa agênica para vídeosAs doze falácias do MLOpsAs responsabilidades éticas dos criadores de IAResumo
Índice
Sobre o autor

Overview

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Fique por dentro de uma nova abordagem unificada para construir sistemas de aprendizado de máquina (ML) com um repositório de recursos. Com este livro prático, cientistas de dados e engenheiros de ML vão aprender em detalhes como desenvolver e operar sistemas de ML em lote, em tempo real e agenticos.

O autor Jim Dowling apresenta princípios e práticas fundamentais para desenvolver, testar e operar sistemas de ML e IA em escala. Você vai ver como qualquer sistema de IA pode ser dividido em pipelines independentes de recursos, treinamento e inferência conectados por uma camada de dados compartilhada. Através de exemplos de sistemas de ML, você vai lidar com a parte mais difícil dos sistemas de ML — os dados —, aprendendo como transformar dados em recursos e incorporações e como projetar um modelo de dados para IA.

Desenvolva sistemas de ML em lote em qualquer escala
Desenvolva sistemas de ML em tempo real, deslocando para a esquerda ou para a direita o cálculo de recursos
Desenvolva sistemas de ML agenticos que usam LLMs, ferramentas e geração aumentada por recuperação
Entenda e aplique os princípios de MLOps ao desenvolver e operar sistemas de ML

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

IA generativa prática com transformadores e modelos de difusão

Publisher Resources

ISBN: 0642572279530

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design

Business

Soft Skills