book

Sistemas de produção de aprendizagem automática

by Robert Crowe, Hannes Hapke, Emily Caveness, Di Zhu

April 2025

Intermediate to advanced

474 pages

14h 27m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Quem deve ler este livroPorque escrevemos este livroComo navegar neste livroConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentosRobertHannesEmilyDi
O que é a aprendizagem automática de produção?Benefícios dos pipelines de aprendizagem automáticaConcentra-te no desenvolvimento de novos modelos e não na manutenção dos modelos existentesPrevenção de insectosCriação de registos para depuração e reprodução de resultadosNormalizaçãoO caso de negócios para pipelines de ML Quando utilizar pipelines de aprendizagem automáticaEtapas de um pipeline de aprendizagem automáticaIngestão de dados e controlo de versões de dadosValidação de dadosEngenharia de recursosTreino e afinação de modelosAnálise do modeloImplantação do modeloOlhando para o futuro
Considerações importantes sobre a recolha de dadosRecolha responsável de dadosRotulagem de dados: Modificações de dados e desvio na produção MLDados de rotulagem: Etiquetagem direta e etiquetagem humanaValidação de dados: Detetar problemas de dadosValidação de dados: Validação de dados do TensorFlowDeteção de distorção com TFDVTipos de inclinaçãoExemplo: Detectando conjuntos de dados desequilibrados com a validação de dados do TensorFlowConclusão
Introdução à engenharia de caraterísticasOperações de pré-processamentoTécnicas de engenharia de caraterísticasNormalização e padronizaçãoBaldeaçãoCaraterísticas CruzesDimensionalidade e EmbeddingsVisualizaçãoTransformação de caraterísticas à escalaEscolhe uma estrutura bem dimensionadaEvita a distorção entre formação e serviçoConsidera as transformações ao nível da instância e as transformações de passagem completaUsar a transformação do TensorFlowAnalisadoresExemplo de códigoSeleção de caraterísticasEspaços de destaqueSíntese da seleção de caraterísticasMétodos de filtragemMétodos WrapperMétodos incorporadosSeleção de caraterísticas e exemplos para LLMs e GenAIExemplifica: Usando a transformação TF para tokenizar o textoVantagens da utilização da transformação TF Alternativas à transformação TFConclusão
Viagem de dadosMetadados MLUtilizar um esquemaDesenvolvimento de esquemasAmbientes de esquemaAlterações nos conjuntos de dados Armazenamento de dados empresariaisLojas de artigosArmazéns de dadosLagos de dadosConclusão
Etiquetagem avançadaEtiquetagem semi-supervisionadaAprendizagem ativaSupervisão deficienteRevisão avançada da rotulagemAumento de dadosExemplo: CIFAR-10Outras técnicas de aumentoRevisão da ampliação de dadosPré-processamento de dados de séries cronológicas: Um exemploWindowsAmostragemConclusão
Redução da dimensionalidade: Efeito da dimensionalidade no desempenhoExemplo: Incorporação de palavras usando KerasMaldição da dimensionalidadeA adição de dimensões aumenta o volume do espaço de caraterísticasRedução da dimensionalidadeQuantização e podaCasos de utilização móveis, IoT, Edge e semelhantesQuantizaçãoOtimizar o teu modelo TensorFlow com o TF LiteOpções de otimizaçãoPodaDestilação de conhecimentosRedes de professores e alunosTécnicas de destilação do conhecimentoTMKD: Destilar conhecimentos para uma tarefa de perguntas e respostasAumentar a robustez através da destilação de EfficientNetsConclusão
Formação distribuídaParalelismo de dadosPipelines de entrada eficientesNoções básicas sobre o pipeline de entradaPadrões de pipeline de entrada: Melhorar a eficiênciaOtimizar o teu pipeline de entrada com dados do TensorFlowTreinar grandes modelos: A ascensão das redes neurais gigantes e do paralelismoSoluções potenciais e suas deficiênciasO paralelismo de pipeline para o resgate?Conclusão
Analisar o desempenho do modeloAvaliação Black-BoxMétricas de desempenho e objectivos de otimizaçãoAnálise avançada de modelosAnálise do modelo TensorFlowA Ferramenta de Interpretabilidade da AprendizagemDepuração avançada de modelosModelos de referênciaAnálise de sensibilidadeAnálise residualRemediação de modelosRemediação da discriminaçãoEquidadeAvaliação da equidadeConsiderações sobre a equidadeAvaliação e acompanhamento contínuosConclusão

IA explicávelMétodos de interpretação de modelosCategorias de métodosModelos intrinsecamente interpretáveisMétodos de diagnóstico de modelosExplicações de diagnóstico de modelos interpretáveis a nível local Valores de ShapleyA biblioteca SHAP Teste de vectores de ativação de conceitos Explicações sobre a IAExemplifica: Explorando a sensibilidade do modelo com o SHAPModelos de regressãoModelos de processamento de linguagem naturalConclusão
Afinação de hiperparâmetrosIntrodução ao AutoMLComponentes principais do NASProcura espaçosEstratégias de pesquisaEstratégias de estimativa de desempenhoAutoML na CloudPiloto automático do Amazon SageMakerAprendizagem automática da máquina no Microsoft AzureGoogle Cloud AutoMLUtilizar o AutoMLIA generativa e AutoMLConclusão
Formação de modelosPrevisão do modeloLatênciaRendimentoCustoRecursos e requisitos para os modelos de serviçoCusto e complexidadeAceleradoresAlimentar a bestaImplantações de modelosImplantações de centros de dadosImplantações móveis e distribuídasServidores modeloServiços geridosConclusão
Inferência em loteRendimento do loteCasos de uso de inferência em loteETL para sistemas distribuídos de processamento em fluxo e em loteIntrodução à Inferência em Tempo RealEntrega síncrona de previsões em tempo realEntrega assíncrona de previsões em tempo realOtimização da inferência em tempo realCasos de utilização de inferência em tempo realServir os conjuntos modeloTopologias de conjuntoExemplo de conjuntoConsiderações sobre o serviço do conjuntoRouters de modelos: Conjuntos em GenAIPré-processamento e pós-processamento de dados em tempo realTransformações de formação versus transformações de serviçoWindowsOpções de pré-processamentoIntroduzir a transformação do TensorFlowPós-processamentoInferência no Edge e no BrowserDesafiosImplantações de modelos por meio de contêineresFormação sobre o dispositivoAprendizagem federadaInteroperabilidade em tempo de execuçãoInferência em Web BrowsersConclusão
Servidores modeloServiço TensorFlowServidor de Inferência NVIDIA TritonTorchServeCriar uma infraestrutura escalávelContentorizaçãoEra da implantação tradicionalEra da implantação virtualizadaEra da implementação de contentoresA estrutura de contentorização do DockerOrquestração de contentoresFiabilidade e disponibilidade através da redundânciaObservabilidadeAlta disponibilidadeImplantações automatizadasAceleradores de hardwareGPUsTPUsConclusão
Exemplo: Implantação de modelos do TensorFlow com o TensorFlow ServingExportar modelos do Keras para o TF ServingConfigura o TF Serving com o DockerConfiguração básica do TF ServingFazer pedidos de previsão de modelo com RESTFazer pedidos de previsão de modelos com gRPCObter previsões a partir de modelos de classificação e regressãoUtilizar cargas úteisObter metadados do modelo a partir do TF ServingFazer pedidos de inferência em loteExemplo: Criação de perfil de TF Servindo inferências com TF ProfilerPré-requisitosConfiguração do TensorBoardPerfil do modeloExemplo: Configuração básica do TorchServeInstalando as dependências do TorchServeExportar o teu modelo para o TorchServeConfigurar o TorchServeFazer pedidos de previsão de modelosFazer pedidos de inferência em loteConclusão
Acompanhamento de experiênciasExperimentar nos cadernos de notasExperimenta em geralFerramentas para acompanhamento e controlo de versões de experiênciasIntrodução aos MLOpsCientistas de dados versus engenheiros de softwareEngenheiros MLML em Produtos e ServiçosMLOpsMetodologia MLOpsMLOps Nível 0MLOps Nível 1MLOps Nível 2Componentes de um fluxo de trabalho orquestradoTrês tipos de componentes personalizadosComponentes baseados em funções PythonComponentes baseados em contentoresComponentes totalmente personalizadosMergulha fundo no TFXTFX SDKRepresentação intermédiaTempo de execuçãoImplementar um pipeline de ML utilizando componentes TFXCaraterísticas avançadas do TFXGerir versões de modelosAbordagens aos modelos de controlo de versõesLinhagem do modeloRegistos modeloIntegração contínua e implantação contínuaIntegração contínuaEntrega contínuaEntrega progressivaImplantação azul/verdeImplantação do CanaryExperimentação ao vivoConclusão
A importância do controloObservabilidade na aprendizagem automáticaO que deves monitorizar?Alertas personalizados em TFXRegistoRastreio distribuídoMonitorização da deterioração do modeloDesvio de dados e desvio de conceitosDeteção de decaimento do modeloTécnicas de monitorização supervisionadaTécnicas de monitorização não supervisionadasAtenuar a deterioração do modeloReeducar o teu modeloQuando voltar a treinarReciclagem automatizadaConclusão
Porque é que a privacidade dos dados é importante?Que dados devem ser mantidos privados?HarmsRecolhe apenas o que precisasDados do GenAI extraídos da Web e de outras fontesRequisitos legaisO RGPD e a CCPAO direito de ser esquecido do RGPD Pseudonimização e anonimizaçãoPrivacidade diferencialPD local e globalEpsilon-Delta DPAplicar a privacidade diferencial ao MLExemplo de privacidade do TensorFlowAprendizagem federadaML encriptadoConclusão
Uma introdução à orquestração de pipelinePorquê a orquestração de pipelines?Grafos Acíclicos DirigidosOrquestração de pipelines com TFXPipelines TFX interactivosConverter o teu pipeline interativo para produção Orquestração de pipelines TFX com o Apache BeamOrquestração de pipelines TFX com Kubeflow PipelinesIntrodução aos pipelines do KubeflowInstalação e configuração inicialAceder aos pipelines do KubeflowO fluxo de trabalho do TFX para o KubeflowFunções OpFuncOrquestração de pipelines KubeflowPipelines de vértice do Google CloudConfigurar o Google Cloud e o vértice PipelinesConfigurar uma conta do serviço Google CloudOrquestração de pipelines com pipelines vérticesExecução de pipelines de vérticesEscolher o teu OrquestradorTFX interativoApache BeamPipelines KubeflowPipelines de vértice do Google CloudAlternativas à TFXConclusão
Práticas avançadas de pipelineConfigurar os teus componentesImportar artefactosUtiliza o nó de resolução Executa um pipeline condicional Exportar modelos TF LiteFormação em modelos de arranque quenteUtiliza manipuladores de saídaMensagens de acionamento do TFXComponentes TFX personalizados: Arquitetura e casos de utilizaçãoArquitetura dos componentes TFXCasos de uso de componentes personalizadosUtilização de componentes personalizados baseados em funçõesEscrever um componente personalizado a partir do zeroDefinição de especificações de componentesDefinição de canais de componentesEscrevendo o executor personalizadoEscrever o driver personalizadoMontagem do componente personalizadoUtilizar o nosso componente personalizado básicoAnálise da implementaçãoReutilização de componentes existentesCriando componentes personalizados baseados em contêineresQual é o componente personalizado mais adequado para ti?TFX-AddonsConclusão
Os nossos dadosO nosso modeloComponente de ingestão personalizadaPré-processamento de dadosExportar o modelo O nosso gasodutoIngestão de dadosPré-processamento de dadosFormação de modelosAvaliação do modelo Modelo de exportaçãoJuntar tudo Executa no Apache BeamExecução em pipelines de vértices Implementação de modelos com o TensorFlow ServingConclusão
Os nossos dadosO nosso modeloIngestão ComponentePré-processamento de dadosJuntar o gasodutoExecutando o pipeline Implementação de modelos com o Google Cloud vérticeRegistar o teu modelo MLCriando um novo endpoint modeloImplementar o teu modelo de MLSolicitação de previsões do modelo implantadoLimpar o teu modelo implementadoConclusão
Modelos generativosTipos de modelos GenAIAgentes e copilotosPré-formaçãoConjuntos de dados de pré-treinoEmbeddingsTreino auto-supervisionado com máscarasAfinaçãoAfinação Versus Aprendizagem por TransferênciaAjuste fino dos conjuntos de dadosConsiderações sobre o ajuste fino para a produçãoAjuste fino versus APIs de modeloAfinação eficiente de parâmetrosLoRAS-LoRAAlinhamento humanoAprendizagem por reforço a partir de feedback humanoAprendizagem por reforço a partir do feedback da IAOtimização de preferências diretasPromptingEncadeamentoRecuperação Geração AumentadaReActAvaliaçãoTécnicas de avaliaçãoAvaliação comparativa entre modelosLMOpsAtaques da GenAIQuebra-cadeiasInjeção promptResponsável GenAIDesign para a responsabilidadeRealiza testes adversáriosIA ConstitucionalConclusão
Pensa em termos de sistemas de aprendizagem automática, não de modelos de aprendizagem automáticaAproximar os sistemas ML dos peritos do domínioA privacidade nunca foi tão importanteConclusão

Content preview from Sistemas de produção de aprendizagem automática

Capítulo 6. Técnicas de gestão de recursos modelo

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Os sistemas de computação, armazenamento e E/S que seu modelo requer determinarão quanto custará para colocar seu modelo em produção e mantê-lo durante toda a sua vida útil. Neste capítulo, veremos algumas técnicas importantes que podem nos ajudar a gerenciar os requisitos de recursos do modelo. Concentrar-nos-emos em três áreas-chave que são as principais formas de otimizar modelos tanto no ML tradicional como na IA generativa (GenAI):

Redução da dimensionalidade
Quantificação dos parâmetros do modelo e poda dos gráficos do modelo
Destilação do conhecimento para captar o conhecimento contido em grandes modelos

Redução da dimensionalidade: Efeito da dimensionalidade no desempenho

Começaremos por discutir a dimensionalidade e a forma como esta afecta o desempenho do nosso modelo e os requisitos de recursos.

Num passado não muito distante, a geração de dados e, até certo ponto, o armazenamento de dados eram muito mais dispendiosos do que são atualmente. Nessa altura, muitos peritos do domínio consideravam cuidadosamente quais as caraterísticas ou variáveis a medir antes de conceberem as suas experiências e transformações de caraterísticas. Consequentemente, esperava-se que os conjuntos de dados fossem bem concebidos e que, potencialmente, contivessem apenas um pequeno número de caraterísticas relevantes. ...