AI e ML per programmatori in PyTorch

Capitolo 20. Regolazione dei modelli generativi di immagini con LoRA e diffusori

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: [e-mail]

Nel Capitolo 19 hai esplorato l'idea dei diffusori e di come i modelli addestrati con tecniche di diffusione possano generare immagini basate su prompt. Come i modelli basati sul testo (che abbiamo esplorato nel Capitolo 16), anche i modelli da testo a immagine possono essere messi a punto per compiti specifici. L'architettura dei modelli di diffusione e la loro messa a punto meriterebbero un libro intero, quindi in questo capitolo ci limiteremo a esplorare questi concetti ad alto livello. Esistono diverse tecniche per farlo, tra cui DreamBooth, l'inversione testuale e il più recente adattamento a basso rango (LoRA), che verranno illustrate passo dopo passo in questo capitolo. Quest'ultima tecnica ti permette di personalizzare i modelli per un soggetto o uno stile specifico con pochissimi dati.

Come per i trasformatori, la libreria dei diffusori Hugging Face è stata progettata per semplificare al massimo l'utilizzo dei diffusori e la loro messa a punto. A tal fine, include degli script precostituiti che puoi utilizzare.

Go ci propone un esempio completo di creazione di un set di dati di un'influencer digitale fittizia chiamata Misato, utilizzando LoRA e i diffusori per mettere a punto un modello testo-immagine chiamato Stable Diffusion 2 per lei. In seguito, ...