book

Otimização e serviço prático de LLM (Portuguese Edition)

Name: Otimização e serviço prático de LLM (Portuguese Edition)
ISBN: 0642572383688

by Chi Wang, Peiheng Hu

May 2026

Intermediate

374 pages

11h 48m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Read now

Unlock full access

Prefácio
Por que servir e otimizar LLMs?O que este livro pretende fazerQuem deve ler este livroO que este livro não éComo este livro está organizadoComo usar este livroO que você vai precisarConvenções usadas neste livroComo usar os exemplos de códigoO’Reilly Online LearningComo entrar em contato conoscoAgradecimentos
1. Introdução à implementação e otimização de modelos
Anatomia de um modeloArquitetura do modeloDados do modeloCódigo de execução do modeloCiclo de vida do modelo: do treinamento à aplicaçãoO que é a implementação de modelos?Por que estudar a implementação de modelos?Por que otimizar o serviço de modelos (especialmente para LLMs)?Exemplo: Usando uma estrutura de serviço de modelos (vLLM) para melhorar a taxa de processamento do LLMParadigmas de serviço de modelosServiço no dispositivo (ponta)Serviço de modelo únicoServiço multimodeloPlataformas de serviço de modelosResumo
2. Serviço de modelos de linguagem de grande porte
Por dentro da mente de um TransformerEvolução das LLMA natureza autorregressiva dos transformadoresArquitetura de transformadores apenas com decodificadorCaptura do contexto do token por meio do cálculo de atençãoExecutando a geração de LLMs: um passo a passoExecute o modelo QwenPrevisão do modelo, linha por linhaAtive o cache KV para melhorar o desempenhoAs fases de pré-preenchimento e decodificaçãoExecute o LLM com uma estrutura de serviço Sirva o LLM (Qwen) com o vLLMComparação de desempenho: vLLM x Hugging Face TransformersNoções básicas sobre a execução de streaming de LLMNoções básicas sobre a implementação em lote de LLMResumo
3. Projeto de sistemas de serviço de modelos: uma análise aprofundada
Crie um serviço de entrega de LLM online do zeroObjetivos de projetoArquitetura do serviçoImplementar o tratamento de solicitações de geração únicaProcessamento em loteStreaming com processamento em loteAtendimento em lote com vLLMUm projeto geral para a prestação de serviços de LLM com um único modeloRequisitos para o serviço de modelo únicoProjeto geralCrie um serviço de prestação de serviços com vários modelos do zeroObjetivos do projetoArquitetura do serviçoImplementação principalUsando o NVIDIA Triton como servidor de modelosSoluções de compromisso em projetos de serviço de LLM com múltiplos modelosDesafiosUm projeto multimodelo com custo otimizadoUm projeto multimodelo com latência otimizadaResumo
4. Melhores práticas para a disponibilização de modelos
Serviço de modelos em um mundo agênicoDefinindo agentesUm exemplo de agente de conhecimentoO projeto do agenteO fluxo de trabalho interno do agenteAutonomia do agenteGeração Aumentada por Recuperação (RAG)Geração Aumentada por Cache (CAG)Como os agentes usam o serviço de modelosServiço de LLM em sistemas corporativos: uma visão geralCamada de API públicaCamada de gerenciamento de recursosCamada de seleção e orquestração de modelosCamada de Serviço DistribuídoCamada de inferência centralCamada de otimização de modelosCamada de modeloConstruindo com uma pilha de código abertoImplementação da API públicaImplementação da seleção de modelosImplementação de um endpoint de serviço de modeloConstruindo com um provedor de CloudOpção 1: Serviço de modelo de base totalmente gerenciadoOpção 2: Implantação do modelo de base com um cliqueOpção 3: Traga seu próprio modeloOpção 4: Traga seu próprio códigoOpção 5: Traga sua própria imagem de serviçoOpção 6: Crie sua própria infraestrutura de serviçoComparando as opçõesConstruir ou comprar? Entendendo as estratégiasPor que saber como construir ajuda — mesmo que você não vá construirNossa estratégia de seleçãoMedindo o desempenho na prestação de serviços de LLMMétricas de latênciaMétricas de throughputMelhores práticas para medição de desempenhoResumo
5. Desafios ao fornecer LLMs
Por que é importante otimizar o LLM ServingExperiência do clienteEficiência de custosEscalabilidade, gerenciamento de picos de carga e viabilidadeO papel dos chips aceleradores no serviço de LLMComo ler as especificações da GPUComparando as especificações de GPUs popularesGargalos no carregamento de modelos LLMO processo de carregamento do modeloEstimando o tamanho do modeloEstimando o tamanho do cache KVGargalos na execução de modelos LLMLimites da capacidade de computação e da largura de banda de memória da GPUIntensidade aritmética em multiplicações matriciaisAplicando a análise de intensidade aritmética às fases de pré-preenchimento e decodificação do LLMOutros aceleradores de IA e tendênciasResumo
6. Técnicas essenciais de otimização de LLMs
Agrupamento de solicitações e otimizações no nível de agendamentoPor que precisamos do agrupamento em lotes no serviço em tempo real?Agrupamento dinâmico na inferência onlineAgrupamento contínuo para inferência online de LLMAgrupamento contínuo com pré-preenchimento em blocosEscalonamento da atenção e otimização do kernelMecanismos de atenção escaláveisFusão de kernels e kernels de atenção personalizadosCompressão de modelosQuantizaçãoDestilaçãoPodaArmazenamento em cache de prefixosRadixAttentionCasos de usoMelhores práticasDimensionamento do cache de prefixosResumo
7. Técnicas avançadas de otimização de LLMs
Decodificação especulativaEtapas detalhadasAjuste e usoPrática de decodificação especulativaInferência com múltiplas GPUs e múltiplos nósParalelismo de dadosParalelismo de tensores e paralelismo de pipelineParalelismo avançadoDesagregação de pré-preenchimento e decodificaçãoArquitetura geralTransferência de cache KVQuando usarArmazenamento em cache KV avançadoAtendimento de contexto longoCálculos de custo e latênciaHospedagem própria de LLMsPrática com o LMCacheResumo
8. Estruturas de serviço de LLMs
Por que precisamos de estruturas especializadas para servir LLMsvLLMArquitetura do vLLMFluxo de trabalho de inicialização do modelo (com worker multiprocessos)Fluxo de trabalho de execução de solicitações de geraçãoAnálise aprofundada do agendadorEstratégia de otimização em camadas do vLLMTensorRT-LLMSGLangLlama.cppEscolhendo a estrutura certaResumo
9. Otimização de LLMs na prática
Plano de otimização para o serviço LLMOtimize o serviço do Qwen3-14B com vLLMPasso 1: Analisar o hardware da GPUPasso 2: Gerar tráfego de benchmarkPasso 3: Definir métricas de avaliaçãoPasso 4: Configurar o servidor de serviço do modeloPasso 5: Faça o benchmark do modelo Qwen3 com o vLLMPasso 6: Faça o benchmark do modelo Qwen3 quantizado com o vLLMPasso 7: Aplicar técnicas de otimização adicionaisPasso 8: Comparar o desempenho do modelo Qwen3 com serviço distribuídoCompromissos comuns de otimizaçãoResumo

10. Avanços na implementação de LLMs
Cache semânticoEstratégias de análise de desempenhoServiço multimodalProcessamento de entradas multimodaisImplicações arquitetônicas e de sistemaIA de ponta: impulsionadores e facilitadoresHardware especializado de baixo consumo de energiaCompressão e otimização do modeloComputação heterogêneaAgendamento com consideração térmicaComputação híbrida de borda-CloudServiço Multi-LoRAServiço de modelos em aprendizado por reforçoServiço de LLM em RLDeterminismo na prestação de serviços de RLResumo
Índice
Sobre os autores

Content preview from Otimização e serviço prático de LLM (Portuguese Edition)

Índice

Símbolos

2:4 esparsidade estruturada, poda

A

“Acelerando a decodificação de grandes modelos de linguagem com amostragem especulativa” (Chen et al.), Passos detalhados
chips aceleradores, O papel dos chips aceleradores no serviço de LLM —Comparando as especificações de GPUs populares
- Aceleradores de IA em sistemas em chip, Hardware especializado de baixo consumo de energia
- chips que competem com a NVIDIA, Outros aceleradores de IA e tendências –Outros aceleradores de IA e tendências
  - A NVIDIA dominando o mercado, Outros aceleradores de IA e tendências
- ganhos na movimentação de dados ficam atrás do poder de computação, Outros aceleradores de IA e tendências
- barreira da memória, Outros aceleradores de IA e tendências –Outros aceleradores de IA e tendências
- GPUs da NVIDIA
  - dominando o mercado, Outros aceleradores de IA e tendências
  - Execução de modelos LLM, gargalos na execução de modelos LLM —aplicando análise de intensidade aritmética às fases de pré-preenchimento e decodificação de LLM
  - Carregamento de modelos LLM, gargalos no carregamento de modelos LLM —estimando o tamanho do cache KV
- Lendo especificações de GPU, Lendo especificações de GPU-Consumo de energia da GPU
  - Comparando GPUs populares, Comparando as especificações de GPUs populares
- tendências, Outros aceleradores de IA e tendências
avanços na prestação de serviços de LLM
- IA de ponta, IA de ponta: impulsionadores efacilitadores –Computação híbrida ponta-Cloud
  - computação híbrida de borda-Cloud, Computação híbrida de borda-Cloud
  - computação ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

Projetos de dados prontos para IA (Portuguese Edition)

Publisher Resources

ISBN: 0642572383688

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design

Business

Soft Skills

Otimização e serviço prático de LLM (Portuguese Edition)

by Chi Wang, Peiheng Hu