IA generativa pratica con trasformatori e modelli di diffusione

Capitolo 8. Applicazioni creative deimodelli da testo a immagine

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: [e-mail]

Questo capitolo di presenta applicazioni creative che sfruttano i modelli text-to-image e ne aumentano le capacità al di là del semplice utilizzo del testo per controllare la generazione. Inizieremo con le applicazioni più basilari per poi passare a quelle più avanzate.

Da immagine a immagine

Anche se i modelli generativi di diffusione da testo a immagine come Stable Diffusion possono produrre immagini da testo a partire da un'immagine completamente rumorosa, come hai imparato nei Capitoli 4 e 5, è possibile partire da un'immagine già esistente invece che da un'immagine completamente rumorosa. In altre parole, è possibile aggiungere un po' di rumore a un'immagine iniziale e far sì che il modello la modifichi in parte denoising. Questo processo è chiamato " da immagine a immagine", in quanto un'immagine viene trasformata in un'altra immagine in base al livello di rumore e al prompt del testo.

Con la libreria dei diffusori, possiamo caricare una pipeline immagine-immagine per caricare la classe. A titolo di esempio, vediamo come utilizzare SDXL per questo compito. Ecco le principali differenze:

• Utilizziamo StableDiffusionXLImg2ImgPipeline anziché il solito StableDiffusionXLPipeline.

• Passiamo alla pipeline sia un prompt che un'immagine iniziale.

Possiamo utilizzare sia il ...