Otimização e serviço prático de LLM (Portuguese Edition)

Capítulo 3. Projeto de sistemas de serviço demodelos : uma análise aprofundada

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

No Capítulo 1, apresentamos os principais paradigmas de serviço de modelos, descrevendo padrões arquitetônicos comuns e suas soluções de compromisso. No Capítulo 2, examinamos como os LLMs realizam inferências e geram texto no nível do modelo. Este capítulo faz a ponte entre esses fundamentos e a engenharia de produção: como organizar código e infraestrutura para construir sistemas de serviço completos tanto para cenários de modelo único quanto de múltiplos modelos.

A prestação de serviços de modelos é um campo em rápida evolução, com centenas de frameworks de código aberto e soluções comerciais disponíveis. Avaliar, adotar e personalizar a solução certa pode rapidamente se tornar uma tarefa exaustiva. Em vez de começar com um framework específico, neste capítulo nos concentramos em desenvolver uma intuição a partir dos princípios básicos. Ao compreender como os sistemas de prestação de serviços são estruturados em um nível fundamental, você estará mais bem preparado para avaliar qualquer framework ou serviço gerenciado.

Para isso, desenvolvemos dois sistemas de serviço simplificados, mas representativos: um para o serviço de LLM de modelo único e outro para o serviço multimodelo. Essas implementações são intencionalmente simplificadas — não se destinam a substituir frameworks de produção ...