파이토치로 배우는 LLM & AI

466

2

부

모델 사용

0

단계

1

단계

10

단계

40

단계

그림

19-4

프롬프트를 기반으로 이미지에서 점진적으로 잡음 제거하기

[그림

19

-

3

]에 나온 피자를 먹는 곰 인형에 관한 프롬프트로 디퓨전 모델을 실행했습니다. 잠

시 후에 이런 이미지를 만드는 코드를 알아보겠습니다.

0

단계에서는 순수한 잡음만 있습니다.

1

단계 에서 모델은 이미 프롬프트의 주요 특징(화성 표

면)을 파악하여 이미지에 매우 붉은 색을 부여했습니다.

10

단계에서 곰 인형과 피자가 보이

고,

40

단계에 다다르면 곰 인형이 실제로 피자를 먹고 있으며 (아마도 저녁 식사라서) 조명이

바뀌었습니다.

이미지 크기는 모델에 따라 다릅니다. 초기 모델이나 개인용 하드웨어에서 실행되도록 설계

된 모델들은 작은 이미지를 생성한 다음 원하는 크기로 늘립니다. 앞의 이미지는 기본적으로

1024

×

1024

이미지를 생성하는 스테이블 디퓨전

3

.

5

로 생성했습니다.

NOTE

_

이 장에서는 디퓨전 모델에 초점을 맞추지만 이미지를 생성하는 유일한 방법은 아닙니다. 이미지를

설명하는 텍스트 토큰과 이미지의 시각 콘텐츠 간의 매핑을 학습하는

자기회귀 모델

autoregressive

model

도 있습니

다. 많은 매핑 샘플을 사용해 이런 모델을 훈련할 수 있습니다. 그다음 모델에 프롬프트를 전달하면 해당 텍스

트 토큰을 예측하고