Mise en service et optimisation des LLM par la pratique (French Edition)

Chapitre 3. Conception d'un système de mise en servicede modèles : une analyse approfondie

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Au chapitre 1, on a présenté les principaux paradigmes de mise en service des modèles, en décrivant les modèles architecturaux courants et les compromis à faire. Au chapitre 2, on a examiné comment les LLMs effectuent des inférences et génèrent du texte au niveau du modèle. Ce chapitre fait le lien entre ces bases et l'ingénierie de production: comment organiser le code et l'infrastructure pour construire des systèmes de mise en service complets, tant pour les scénarios à modèle unique que pour ceux à modèles multiples.

Le service de modèles est un domaine en pleine évolution, avec des centaines de frameworks open source et de solutions commerciales disponibles. Évaluer, adopter et personnaliser la bonne solution peut rapidement devenir une tâche écrasante. Plutôt que de commencer par un framework spécifique, nous nous concentrons dans ce chapitre sur le développement d’une intuition à partir des principes fondamentaux. En comprenant comment les systèmes de service sont structurés à un niveau fondamental, tu seras mieux armé pour analyser n’importe quel framework ou service géré.

À cette fin, nous développons deux systèmes de service simplifiés mais représentatifs : l’un pour le service LLM à modèle unique et l’autre pour le service multimodèle. Ces implémentations ...