Les grands modèles linguistiques : Les parties difficiles (French Edition)

Annexe. Outils pour le déploiement local de LLM

Un expert, c'est quelqu'un qui a commis toutes les erreurs possibles dans un domaine très restreint.

Niels Bohr

Cette annexe présente trois outils pour le déploiement local de LLM et une technique d's permettant de rendre les LLMs plus accessibles aux environnements de calcul locaux.

Ollama offre le point d’entrée le plus simple, avec une expérience similaire à Docker pour télécharger et exécuter des modèles à l’aide de commandes simples. llama.cpp te fournit le moteur sous-jacent qui alimente une grande partie de l’écosystème des LLM locaux, en convertissant les modèles en formats efficaces et en les exécutant sur du matériel grand public. llamafile adopte une approche unique en regroupant les modèles dans des fichiers exécutables uniques qui fonctionnent partout sans dépendances. Ensemble, ces outils représentent différents points sur le spectre entre facilité d’utilisation et contrôle précis.

La quantification est une technique permettant de réduire la taille des modèles et leur empreinte mémoire tout en améliorant la vitesse d'inférence, mais elle s'accompagne de compromis potentiels en termes de qualité des modèles. Nous aborderons comment quantifier, mais aussi comment évaluer ces compromis, à l'aide de deux mesures courantes : la perplexité et la divergence de KL.

Ollama

Ollama est un outil open source léger, sous licence MIT, permettant d'exécuter des LLMs en local. Il offre une interface simple pour interagir avec un ...