book

LLMOps

Name: LLMOps
Author: Abi Aryan
ISBN: 9798341663817

by Abi Aryan

July 2025

Intermediate to advanced

284 pages

9h 15m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Read now

Unlock full access

Prefácio
Convenções usadas neste livroO'Reilly Online LearningComo nos contactarAgradecimentos
1. Introdução aos grandes modelos linguísticos
Alguns termos-chaveModelos de transformaçãoModelos de Linguagem GrandesArquiteturas de LLMLLMs apenas codificadoresLLMs só com descodificadorLLMs codificador-decodificadorArquitecturas de espaço de estadosModelos de linguagem pequenosEscolhendo um LLMConsiderações sobre a seleção de um LLMO Grande Debate: LLMs de código aberto versus LLMs proprietáriosCasos de Uso Empresarial para LLMsRecuperação de conhecimentoTraduçãoSíntese de falaSistemas de recomendaçãoAgentes de IA autónomosSistemas AgênticosDez desafios da construção com LLMs1. Tamanho e complexidade2. Escala e duração do treino3. Engenharia prompt4. Latência e rendimento da inferência5. Considerações éticas6. Escalonamento e orquestração de recursos7. Integrações e kits de ferramentas8. Ampla aplicabilidade9. Privacidade e segurança10. CustosConclusãoReferências
2. Introdução aos LLMOps
O que são estruturas operacionais?De MLOps a LLMOps: Porque é que precisamos de um novo quadro?Quatro objetivos para o LLMOpsEquipas e funções do LLMOpsA função do engenheiro de LLMOpsUm dia na vidaContratação externa de um engenheiro de LLMOpsContratando internamente: Transforma um engenheiro de MLOps em um engenheiro de LLMOpsOs LLMs e a tua organizaçãoOs quatro objetivos do LLMOpsFiabilidadeEscalabilidadeRobustezSegurançaO modelo de maturidade dos LLMOpsConclusãoReferênciasLer mais
3. Aplicações baseadas em LLM
Utilizar modelos de IA em aplicaçõesAplicações de infraestruturaFluxos de trabalho agênticosModelo de protocolo de contextoProtocolo de agente para agenteA Ascensão de vLLMs e LLMs MultimodaisA questão do LLMOpsMonitorização do desempenho da aplicaçãoMedindo o desempenho de uma aplicação LLM do consumidorEscolhendo o melhor modelo para sua aplicaçãoOutras métricas de aplicaçãoO que podes controlar numa aplicação baseada em LLM?A engenharia prompt é "difícil"Nossa engenharia de prompt produziu melhores resultados?Os sistemas de infraestrutura baseados em LLM são mais "difíceis"ConclusãoReferências
4. Engenharia de dados para LLMs
Engenharia de dados e a ascensão dos LLMsA função do engenheiro de DataOpsGerenciamento de DadosDados SintéticosPipelines de LLMTreina um LLMComposição de dadosLeis de EscalaRepetição de dadosQualidade dos dadosUm Pipeline Geral de Pré-processamento de Dados para LLMsPasso 1: Catalogar os teus dadosPasso 2: Verifica a privacidade e a conformidade legalEtapa 3: Filtra os dadosEtapa 4: Executa a desduplicação de dadosEtapa 5: Recolhe os dadosPasso 6: Detetar a codificaçãoEtapa 7: Detetar idiomasEtapa 8: Separação em pedaçosEtapa 9: Fazer backup dos teus dadosPasso 10: Executa a manutenção e as atualizaçõesVetorizaçãoBases de dados de vetoresAtualizando dados novosGerando o conjunto de dados de ajuste finoGeração automática de um conjunto de dados de ajuste fino de instruçõesConclusãoReferênciasLeitura adicional
5. Adaptação do domínio do modelo para aplicações baseadas em LLM
Treina LLMs a partir do zeroEtapa 1: Escolhe uma tarefaPasso 2: Prepara os dadosPasso 3: Decide sobre a arquitetura do modeloEtapa 4: Configurar a infraestrutura de treinamentoEtapa 5: Implementa o treinamentoAbordagens de agrupamento de modelosMédia e combinação de modelosEnsembling ponderadoEnsembling empilhado (modelo de duas fases)Conjuntos diversos para maior robustezMecanismos de descodificação e votação em várias etapasComposibilidadeCrítica suave do atorAdaptação do domínio do modeloEngenharia promptPrompting de uma só vezPrompting de poucos disparosPrompting de cadeia de pensamentoGeração aumentada por recuperaçãoNúcleo semânticoAjuste finoAjuste fino adaptativoAdaptadores (simples, paralelos e paralelos em escala)Ajuste fino comportamentalAfinação de prefixosAfinação eficiente de parâmetrosAfinação de instruções e aprendizagem por reforço a partir de feedback humanoEscolher entre afinação e engenharia promptMistura de especialistasOtimização de modelos para dispositivos com recursos limitadosLições para um desenvolvimento eficaz do LLMLei de escalonamentoModelos ChinchillaOtimização da taxa de aprendizagemAmostragem especulativaConclusãoReferências
6. Implantação de LLM com API em primeiro lugar
Implementar o teu modeloEtapa 1: Configurar seu ambientePasso 2: Containeriza o LLMEtapa 3: automatizar pipelines com JenkinsEtapa 4: Orquestração do fluxo de trabalhoEtapa 5: Configura o monitoramentoDesenvolver APIs para LLMsEstratégias de arquitetura lideradas por APIAPIs RESTImplementação da APIEtapa 1: Definir os pontos de extremidade da sua APIEtapa 2: Escolhe uma estrutura de desenvolvimento de APIEtapa 3: testa a APIGestão de credenciaisGateways de APIVersionamento de API e gerenciamento do ciclo de vidaArquitecturas de implementação de LLMArquiteturas modulares e monólitasImplementando uma arquitetura baseada em microsserviçosAutomatizando o RAG com pipelines de reordenamento do RetrieverAutomatização de atualizações do Knowledge GraphOtimização da latência de implantaçãoOrquestração de vários modelosOtimizando pipelines RAGConsulta assíncronaCombinando métodos de recuperação densos e esparsosEmbeddings de cacheCache de valores-chaveEscalabilidade e reutilizaçãoConclusão
7. Avaliação de LLMs
Por que a avaliação é um problema difícilAvaliando o desempenhoAvaliando o que quebra antes de quebrar tudoMétricas para aplicações RAGMétricas para sistemas agênticosConsiderações gerais sobre avaliaçãoO valor das métricas automatizadasDesvio de modeloAs métricas tradicionais não são suficientesO Pipeline de ObservabilidadePré-processamento e construção promptRecuperação em pipelines RAGInferência LLMPós-processamento e validação de resultadosCaptura de feedbackConclusãoReferências
8. Governação: Monitorização, privacidade e segurança
A questão dos dados: Escala e sensibilidadeRiscos de segurançaInjeção de promptsQuebra de cadeiaOutros riscos de segurançaMedidas defensivas: LLMSecOpsRealização de uma auditoria LLMSecOpsEtapa 1: Definir escopo e objetivosEtapa 2: coleta de informaçõesEtapa 3: Executa a análise de riscos e a modelagem de ameaçasEtapa 4: Avalia os controles de segurança e a conformidadeEtapa 5: Realiza testes de penetração e/ou Red TeamingEtapa 6: Revisar os dados de treinamentoEtapa 7: Avalia o desempenho e o viés do modeloEtapa 8: Documenta as conclusões e recomendações da auditoriaEtapa 9: Planeia a monitorização e a revisão contínuasEtapa 10: Cria um plano de comunicação e correçãoSegurança e proteção éticaConclusãoReferências
9. Escalonamento: Hardware, infraestrutura e gestão de recursos
Escolhendo a abordagem corretaDimensionamento e alocação de recursosMonitoramentoTestes A/B e testes sombra para LLMsProvisionamento e gerenciamento automático de infraestruturaProvisionamento e gestão em arquitecturas CloudProvisionamento e gestão em hardware próprioMelhores práticas para a gestão automática da infraestruturaLei de Escalonamento e o Argumento Compute-OptimalOtimizando a infraestrutura do LLMFusão de kernelEscalonamento de precisãoUtilização de hardwareComputação paralela e distribuída para LLMsParalelismo de dadosParalelismo de modelosParalelismo de PipelineEstruturas avançadas: ZeRO e DeepSpeedProcessos de Backup e Failsafe para Aplicações LLMTipos de estratégias de backupA Prática Mais Importante: Testa Restaurações RegularmenteConclusãoReferências

10. O Futuro dos LLMs e LLMOps
Escalando além dos limites atuaisArquitecturas híbridas: Fusão de redes neurais com IA simbólicaModelos esparsos e de mistura de especialistasModelos com memória aumentada: Rumo a uma IA persistente e rica em contextoModelos interpretáveis e auto-optimizadosColaboração entre modelos, meta-aprendizagem e afinação multimodalRAGO futuro das LLMOpsAvanços na tecnologia GPUGestão e eficiência de dadosPrivacidade e segurançaQuadros de avaliação abrangentesComo ter sucesso como engenheiro de LLMOpsConclusãoReferênciasLeitura adicional
Índice
Sobre o autor

Content preview from LLMOps

Sobre o autor

Abi Aryan é a fundadora da Abide AI e uma engenheira de pesquisa de aprendizagem automática com quase uma década de experiência na criação de sistemas de aprendizagem automática ao nível da produção. Matemático de formação, trabalhou anteriormente como investigador visitante no Laboratório de Sistemas Cognitivos da UCLA, sob a orientação do Dr. Judea Pearl, onde se concentrou no desenvolvimento de agentes inteligentes.

Abi é autora de artigos de pesquisa em AutoML, sistemas multi-agentes e modelos de linguagem de grande dimensão, e faz revisões activas para as principais conferências e workshops de pesquisa, incluindo NeurIPS, a Association for Computational Linguistics (ACL), Empirical Methods in Natural Language Processing (EMNLP) e Advances in Approximate Bayesian Inference (AABI).

Atualmente, desenvolve pesquisas sobre inteligência reflexiva em agentes de IA, protocolos de auto-recuperação distribuídos para sistemas multi-agentes e engenharia de GPU para sistemas de IA de muito grande escala.

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

Publisher Resources

ISBN: 9798341663817

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design

Business

Soft Skills

LLMOps

by Abi Aryan

Sobre o autor

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.