Mise en service et optimisation des LLM par la pratique (French Edition)

Chapitre 8. Cadres de mise en servicedes LLM

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Dans les chapitres précédents, on a exploré les principes fondamentaux de la mise en service des LLM : conceptiondu système, implémentation du service et techniques d'optimisation pratiques. Ce chapitre se concentre sur la couche de base : les frameworks de mise en service qui implémentent et exécutent l'inférence des modèles à l'aide de différentes techniques d'optimisation dans des conditions de production réelles. On va parler de quatre frameworks de service open source largement adoptés que tu risques de croiser : vLLM, TensorRT-LLM, SGLang et llama.cpp. Chacun a une philosophie, un encombrement matériel et une technologie éprouvée qui lui sont propres, et bénéficie du soutien de communautés actives et d’une utilisation en production croissante.

Comme il s’agit du framework le plus largement utilisé, on va se pencher en détail sur vLLM : son architecture, son processus d’initialisation et d’exécution des modèles, la planification au niveau des requêtes et des tokens, ainsi que sa stratégie d’optimisation par couches. Comprendre le fonctionnement interne de vLLM te donnera une bonne intuition de la façon dont les frameworks LLM fonctionnent en pratique et te permettra d’évaluer plus facilement les compromis dans d’autres frameworks.

Ensuite, on passera en revue les autres frameworks avec des aperçus ...