Mise en service et optimisation des LLM par la pratique (French Edition)

Chapitre 7. Techniquesavancées d'optimisation des LLM

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Après le chapitre précédent, tu disposes désormais des techniques essentielles pour relever bon nombre des défis liés à l'optimisation du service des LLMs, en particulier ceux qui ne sont pas trop volumineux et tiennent dans un seul GPU. Pour les LLMs plus volumineux, comptant par exemple plus de 100 milliards de paramètres, un seul GPU ne suffit généralement pas pour charger le modèle en mémoire GPU et générer des résultats avec une latence satisfaisante. Dans ce chapitre, nous explorons des techniques avancées pour améliorer encore les performances de service des LLMs, notamment :

• Décodage spéculatif pour accélérer la phase de décodage de la génération LLM et réduire la latence inter-tokens (ITL)

• Service multi-GPU et multi-nœuds pour les grands LLMs qui ne tiennent pas sur un seul GPU ou qui ne sont pas assez performants lorsqu’ils tournent sur un seul GPU

• Désagrégation du préremplissage-décodage (PD) pour dissocier les phases de préremplissage et de décodage et ajuster leurs compromis de manière indépendante

• Techniques avancées de mise en cache KV pour obtenir un temps de premier token (TTFT) ultra-rapide et un taux de réussite de cache élevé

Décodage spéculatif

Et si une seule technique pouvait à elle seule améliorer la latence — en particulier l'ITL — d'un facteur deux ou trois ...