Otimização e serviço prático de LLM (Portuguese Edition)

Capítulo 4. Melhores práticas para a implementação demodelos

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

Nos Capítulos 2 e 3, exploramos a inferência de modelos, desde a implementação até o design do sistema. Você viu como os LLMs funcionam internamente e como construir um serviço de entrega a partir dos princípios básicos. Este capítulo muda o foco de como construir um sistema de entrega para como os sistemas de entrega devem evoluir em aplicações LLM do mundo real.

As aplicações modernas de LLMs raramente consistem em uma única invocação do modelo do tipo solicitação-resposta. Em vez disso, os modelos são incorporados em fluxos de trabalho agenticos, plataformas corporativas e sistemas de produção em camadas. Quando isso acontece, a prestação de serviços de modelos deixa de ser apenas um problema de inferência — torna-se um problema de arquitetura de sistema. Este capítulo examina o que muda nesse nível do sistema.

Começamos com aplicações agenticas de LLM — não porque este seja um “capítulo sobre agentes”, mas porque os agentes são agora o padrão principal para construir sistemas alimentados por LLM. A maioria dos casos de uso modernos de LLM — assistentes de conhecimento, copilotos, automação de fluxos de trabalho, mecanismos de raciocínio — segue uma estrutura semelhante à de um agente. Uma única interação do usuário pode acionar múltiplas chamadas de LLM, etapas de recuperação, execução de ferramentas ...