book

Mise en service et optimisation des LLM par la pratique (French Edition)

Name: Mise en service et optimisation des LLM par la pratique (French Edition)
ISBN: 0642572383640

by Chi Wang, Peiheng Hu

May 2026

Intermediate

374 pages

12h 30m

French

O'Reilly Media, Inc.

Read now

Unlock full access

Avant-propos
Pourquoi le déploiement et l'optimisation des LLM ?L'objectif de ce livreÀ qui s'adresse ce livreCe que ce livre n'est pasComment ce livre est organiséComment utiliser ce livreCe dont tu auras besoinConventions utilisées dans ce livreUtilisation des exemples de codeO’Reilly Online LearningComment nous contacterRemerciements
1. Introduction au déploiement et à l'optimisation des modèles
Anatomie d'un modèleArchitecture du modèleDonnées du modèleCode d'exécution du modèleCycle de vie d'un modèle : de l'entraînement à la mise en serviceQu'est-ce que la mise en service d'un modèle ?Pourquoi étudier la mise en service des modèles ?Pourquoi optimiser la mise en service des modèles (en particulier pour les LLMs) ?Exemple : Utilisation d'un framework de mise en service de modèles (vLLM) pour améliorer le débit des LLMParadigmes de service de modèlesExécution sur appareil (en périphérie)Service pour un seul modèleService multi-modèlesPlateformes de mise à disposition de modèlesRésumé
2. Mise en service des grands modèles linguistiques
Dans l'esprit d'un TransformerÉvolution des LLMLa nature autorégressive des transformateursArchitecture de transformateur avec décodeur uniquementCapturer le contexte des tokens en calculant l'attentionExécuter la génération LLM : un guide étape par étapeExécute le modèle QwenPrédiction du modèle, ligne par ligneActiver le cache KV pour améliorer les performancesLes phases de préremplissage et de décodageExécute le LLM avec un framework de service Servir le LLM (Qwen) avec vLLMComparaison des performances : vLLM contre Hugging Face TransformersLes bases de la mise en service en continu des modèles LLMLes bases de la mise en service par lots des LLMRésumé
3. Conception d'un système de mise à disposition de modèles : une analyse approfondie
Construire un service de mise à disposition de LLM en ligne à partir de zéroObjectifs de conceptionArchitecture du serviceImplémenter la gestion des requêtes de génération uniqueTraitement par lotsDiffusion avec traitement par lotsService par lots avec vLLMUne conception générale pour la mise en service d'un LLM à modèle uniqueExigences pour la mise en service d'un modèle uniqueConception généraleCréer un service de mise en service multi-modèles à partir de zéroObjectifs de conceptionArchitecture du serviceImplémentation principaleUtilisation de NVIDIA Triton comme serveur de modèlesCompromis dans les conceptions de services multi-modèlesDéfisUne conception multimodèle optimisée en termes de coûtsUne conception multi-modèles optimisée en termes de latenceRésumé
4. Bonnes pratiques en matière de mise à disposition de modèles
La mise à disposition de modèles dans un monde agentiqueDéfinition des agentsExemple d'agent de connaissancesLa conception de l'agentLe flux de travail interne de l'agentAutonomie de l'agentGénération augmentée par la recherche (RAG)Génération augmentée par le cache (CAG)Comment les agents utilisent le service de modèlesLa mise en service des LLM dans les systèmes d'entreprise : aperçuCouche API publiqueCouche de gestion des ressourcesCouche de sélection et d'orchestration des modèlesCouche de mise à disposition distribuéeCouche d'inférence centraleCouche d'optimisation des modèlesCouche de modèlesDévelopper avec une pile open sourceMise en œuvre de l'API publiqueMise en œuvre de la sélection de modèlesMise en place d'un point de terminaison de service de modèleDévelopper avec un fournisseur de CloudOption 1 : Service de modèles de base entièrement géréOption 2 : Déploiement du modèle de base en un clicOption 3 : Apporte ton propre modèleOption 4 : Apporte ton propre codeOption 5 : Apporte ta propre image de serviceOption 6 : Construis ta propre infrastructure de mise en serviceComparaison des optionsConstruire ou acheter ? Comprendre les stratégiesPourquoi savoir comment créer aide, même si tu ne vas pas le faireNotre stratégie de sélectionMesurer les performances dans le service LLMMesures de latenceIndicateurs de débitMeilleures pratiques pour la mesure des performancesRésumé
5. Les défis liés à la mise en service des LLMs
Pourquoi l'optimisation du service LLM est-elle importante ?Expérience clientRentabilitéÉvolutivité, gestion des pics de charge et faisabilitéLe rôle des puces d'accélération dans le service LLMComprendre les spécifications des GPUComparaison des caractéristiques techniques des GPU les plus courantsLes goulots d'étranglement dans le chargement des modèles LLMLe processus de chargement du modèleEstimer la taille du modèleEstimer la taille du cache KVGoulots d'étranglement dans l'exécution des modèles LLMLimites de la puissance de calcul et de la bande passante mémoire des GPUIntensité arithmétique dans les multiplications matriciellesApplication de l'analyse de l'intensité arithmétique aux phases de préremplissage et de décodage du LLMAutres accélérateurs d'IA et tendancesRésumé
6. Techniques essentielles d'optimisation des LLM
Regroupement des requêtes et optimisations au niveau de la planificationPourquoi a-t-on besoin du traitement par lots dans le service en temps réel ?Le regroupement dynamique dans l'inférence en ligneLe regroupement continu pour l'inférence en ligne des LLMLe regroupement continu avec préremplissage par blocsMise à l'échelle de l'attention et optimisation du noyauMécanismes d'attention évolutifsFusion de noyaux et noyaux d'attention personnalisésCompression des modèlesQuantificationDistillationÉlagageMise en cache des préfixesRadixAttentionCas d'utilisationMeilleures pratiquesMise à l'échelle du cache de préfixesRésumé
7. Techniques avancées d'optimisation des LLM
Décodage spéculatifÉtapes détailléesRéglage et utilisationPratique Décodage spéculatifInférence multi-GPU et multi-nœudsParallélisme des donnéesParallélisme tensoriel et parallélisme en pipelineParallélisme avancéPréremplissage-décodage DésagrégationArchitecture globaleTransfert de cache KVQuand l'utiliserMise en cache KV avancéeService de contextes longsCalculs de coût et de latenceAuto-hébergement de LLMsPratique avec LMCacheRésumé
8. Cadres de mise en service des LLM
Pourquoi on a besoin de frameworks spécialisés pour le service des LLMvLLMArchitecture de vLLMWorkflow d'initialisation du modèle (avec un worker multiprocessus)Workflow d'exécution des requêtes de générationAnalyse approfondie du planificateurStratégie d'optimisation par couches de vLLMTensorRT-LLMSGLangLlama.cppChoisir le bon frameworkRésumé
9. L'optimisation des LLM en pratique
Plan d'optimisation du service LLMOptimise le service Qwen3-14B avec vLLMÉtape 1 : Examiner le matériel GPUÉtape 2 : Générer du trafic de référenceÉtape 3 : Définir les indicateurs d'évaluationÉtape 4 : Configurer le serveur de déploiement du modèleÉtape 5 : Évaluer le modèle Qwen3 avec vLLMÉtape 6 : Évaluer le modèle Qwen3 quantifié avec vLLMÉtape 7 : Appliquer des techniques d'optimisation supplémentairesÉtape 8 : Comparer le modèle Qwen3 avec le service distribuéCompromis courants en matière d'optimisationRésumé

10. Les avancées dans la mise en service des LLM
Mise en cache sémantiqueStratégies de profilage des performancesService multimodalTraitement des entrées multimodalesImplications architecturales et systèmeIA en périphérie : moteurs et catalyseursMatériel spécialisé à faible consommationCompression et optimisation du modèleCalcul hétérogènePlanification tenant compte de la gestion thermiqueCalcul hybride périphérie-CloudService Multi-LoRAServing de modèles dans l'apprentissage par renforcementExécution de LLM en RLDéterminisme dans le service RLRésumé
Index
À propos des auteurs

Content preview from Mise en service et optimisation des LLM par la pratique (French Edition)

Index

Symboles

2:4 Sparsité structurée, élagage

A

« Accélérer le décodage des grands modèles linguistiques grâce à l'échantillonnage spéculatif » (Chen et al.), Étapes détaillées
Puces d'accélération, Le rôle des puces d'accélération dans le service des LLM –Comparaison des spécifications des GPU populaires
- Accélérateurs IA dans les systèmes sur puce, Matériel spécialisé à faible consommation
- Puces en concurrence avec NVIDIA, autres accélérateurs IA et tendances –Autres accélérateurs IA et tendances
  - NVIDIA domine le marché, Autres accélérateurs IA et tendances
- Les gains en matière de transfert de données ne suivent pas la puissance de calcul, Autres accélérateurs IA et tendances
- le mur de la mémoire, Autres accélérateurs IA et tendances –Autres accélérateurs IA et tendances
- Les GPU NVIDIA
  - dominent le marché, autres accélérateurs IA et tendances
  - Exécution des modèles LLM, goulots d'étranglement dans l'exécution des modèles LLM –Application de l'analyse de l'intensité arithmétique aux phases de préremplissage et de décodage des modèles LLM
  - Chargement des modèles LLM, goulots d'étranglement dans le chargement des modèles LLM-Estimation de la taille du cache KV
- Lire les spécifications des GPU, Lire les spécifications des GPU-Consommation électrique des GPU
  - Comparaison des GPU populaires, Comparaison des spécifications des GPU populaires
- Tendances, autres accélérateurs IA et tendances
Progrès dans la mise en service des LLM
- IA en périphérie, IA en périphérie : moteurs et catalyseurs –Calcul hybride périphérie-Cloud ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

Transformation axée sur le domaine (French Edition)

Publisher Resources

ISBN: 0642572383640

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design

Business

Soft Skills

Mise en service et optimisation des LLM par la pratique (French Edition)

by Chi Wang, Peiheng Hu