Mise en service et optimisation des LLM par la pratique (French Edition)

Chapitre 10. Les avancées dans le domaine du LLM Serving

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Si tu es arrivé jusqu’ici, félicitations pour avoir parcouru tout ce chemin, depuis la compréhension des paradigmes de mise en service des modèles jusqu’à la manière de mettre en service efficacement les LLMs pour différents cas d’utilisation.

Le dernier chapitre met en avant quelques avancées émergentes dans le domaine du service LLM et sert de guide pour ton apprentissage continu, alors que de nouvelles idées et techniques évoluent rapidement. Certaines de ces idées pourraient remplir des livres entiers, et les progrès dans ce domaine avancent à grands pas. C'est une période passionnante pour assister à l'évolution des systèmes d'inférence intelligents et y contribuer. Notre objectif ici est de présenter les principales idées et les principaux cadres de référence afin que tu puisses, à la fin de ce livre, te sentir capable de relier les fondements essentiels que nous avons abordés aux nouvelles idées qui façonnent la prochaine génération de systèmes de mise en service des LLM.

Dans ce chapitre, nous explorerons :

• La mise en cache sémantique et le routage en tant que mécanismes de haut niveau pour une distribution plus intelligente des requêtes tenant compte de la sémantique

• Le profilage des performances pour un réglage fin des performances

• Le service multimodal, alors que les LLMs textuels ...