L'IA générative sur AWS

Chapitre 6. Un réglage fin efficace des paramètres

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Comme nous l'avons vu dans les chapitres précédents, l'entraînement des modèles génératifs est coûteux en termes de calcul. L'adaptation des modèles à ton domaine par le biais d'un réglage fin complet nécessite de la mémoire non seulement pour stocker le modèle, mais aussi divers autres paramètres qui sont nécessaires au cours du processus de formation. Contrairement à la mise au point complète, la mise au point paramétrique efficace (PEFT) fournit un ensemble de techniques qui te permettent de mettre au point tes modèles tout en utilisant moins de ressources informatiques.

Il existe une variété de techniques et de catégories PEFT explorées dans un article sur la mise à l'échelle.¹ Les techniques varient dans leur mise en œuvre, mais en général, chacune se concentre sur le gel de tous ou de la plupart des paramètres originaux du modèle et sur l'extension ou le remplacement des couches du modèle par la formation d'un ensemble supplémentaire, beaucoup plus petit, de paramètres. Les techniques les plus couramment utilisées appartiennent aux catégories de l'additif et du reparamétrage.

Les techniques additives, telles que le prompt tuning, augmentent le modèle en affinant et en ajoutant des paramètres ou des couches supplémentaires au modèle pré-entraîné. Les techniques de reparamétrage, telles que l'adaptation ...