Overview
Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com
A IA generativa está revolucionando os setores, e o Kubernetes se tornou rapidamente a espinha dorsal para implantar e gerenciar essas cargas de trabalho com uso intensivo de recursos. Este livro serve como um guia prático para engenheiros de MLOps, desenvolvedores de software, administradores do Kubernetes e profissionais de IA prontos para combinar a inovação da IA com o poder da infraestrutura nativa da Cloud. Os autores Roland Huß e Daniele Zonca fornecem um roteiro claro para treinamento, ajuste fino, implantação e dimensionamento de modelos GenAI no Kubernetes, abordando desafios como otimização de recursos, automação e segurança ao longo do caminho.
Com insights práticos e exemplos do mundo real, os leitores aprenderão a lidar com as oportunidades e as complexidades do gerenciamento de aplicativos GenAI em ambientes de produção. Esteja você fazendo experiências com modelos de linguagem em grande escala ou enfrentando as nuances da implementação de IA em escala, você descobrirá o conhecimento necessário para operacionalizar essa tecnologia interessante de forma eficaz.
- Você aprenderá a implementar LLMs de forma mais eficiente com tempos de execução de inferência otimizados
- Você terá contato prático com o agendamento de GPU, incluindo detecção de hardware e dimensionamento de vários nós
- Monitore e compreenda as métricas específicas do LLM, como o tempo para o primeiro token e a taxa de transferência de token
- Saiba quando você deve fazer o ajuste fino de um modelo ou quando o aumento da recuperação é a melhor opção
- Descubra como avaliar modelos com benchmarks padronizados antes de comprometer os recursos da GPU
- Aprenda a executar aplicativos agênticos com integração segura de ferramentas, gerenciamento de identidade e estado persistente
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access