Mise en service et optimisation des LLM par la pratique (French Edition)

Chapitre 6. Techniquesessentielles d'optimisation des LLM

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Dans les chapitres précédents, on a montré l'importance et les défis liés à l'optimisation des LLMs pour la mise en service. Dans les deux chapitres suivants, on va approfondir une à une chacune des techniques d'optimisation essentielles des LLMs, pour que tu disposes des connaissances nécessaires pour décider quand, comment et pourquoi les utiliser pour tes besoins de mise en service.

Dans ce chapitre en particulier, on se concentrera sur les techniques essentielles qui t'aideront à comprendre la plupart des concepts d'optimisation et à atteindre bon nombre de tes objectifs d'optimisation. On laissera les techniques plus avancées et les tendances du secteur pour le chapitre 7.

Dans ce chapitre, nous aborderons comment utiliser :

• le regroupement et la planification des requêtes pour améliorer le parallélisme et l'utilisation des GPU

• L'optimisation de l'attention pour améliorer l'efficacité de calcul, réduire les besoins en calcul et optimiser la gestion de la mémoire

• La compression de modèles pour obtenir des modèles plus petits, moins de mouvements de mémoire et/ou moins de calcul

• La mise en cache des préfixes pour mettre en cache et réutiliser les prompts précédents, y compris comment le faire efficacement et obtenir un taux de réussite élevé

Optimisations au niveau du regroupement ...