L'IA générative pratique avec les transformateurs et les modèles de diffusion

Chapitre 7. Réglage fin de la diffusion stable

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Dans le chapitre précédent, nous avons présenté comment le réglage fin peut apprendre aux LM à écrire dans un style particulier ou à apprendre des concepts pour un domaine spécifique. Nous pouvons appliquer les mêmes principes aux modèles texte-image, ce qui nous permet de personnaliser les modèles même avec l'accès à un seul GPU (par opposition aux nœuds multi-GPU nécessaires pour pré-entraîner un modèle comme la diffusion stable).

Dans ce chapitre, nous allons utiliser le modèle de diffusion stable préformé que tu as appris au chapitre 5 et l'étendre pour qu'il apprenne des styles et des concepts qu'il ne connaît peut-être pas, comme le concept de "ton animal de compagnie" ou un style de peinture particulier. Nous apprendrons également à lui donner de nouvelles capacités, telles que l'inpainting et l'ajout de nouvelles conditions en tant qu'entrées.

Plutôt que d'écrire du code à partir de zéro ici, nous allons nous intéresser à la compréhension et à l'exécution des scripts existants créés pour affiner les modèles dans cette section. Pour cela, nous te recommandons de cloner la bibliothèque diffuseurs, car la plupart des exemples se trouveront dans le dossier exemples de la bibliothèque :

git clone https://github.com/huggingface/diffusers.git

Réglage fin de la diffusion entièrement stable

Lemodèle complet ...