그림으로 배우는 생성형 AI

44

그림으로 배우는 생성형 AI

조하는 문장을 모델 훈련에 사용되는 텍스트로 쓸 수

있겠지요

.

핵심은 잡음이 낀 이미지만으로 잡음 제거 모델을 훈

련하는 것이 아니라 그 이미지에 무엇이 있는지도 함

께 알려주는 것입니다

.

이 경우 각 단계의 잡음 제거

기는 잡음 낀 이미지와 텍스트 설명

(

캡션 등

)

이라는

두 가지 입력을 받습니다

.

출력은 여전히 깨끗한 이미

지이고요

.

이것이 바로 모델이 텍스트에 따라 작동하

도록 조건화하는 방법입니다

.

이렇게 텍스트 조건화로 훈련한 모델로 이미지를 생

성할 때는 무작위 잡음과 원하는 것을 묘사하는 텍스

트 설명으로 시작합니다

.

점진적 생성을 통해서 모델

은 그 묘사와 일치하는 이미지를 생성해 냅니다

(

그림

1

-

16

의 오른쪽

).

초해상화

방금 설명한 접근법은 간단한 일러스트를 만드는 데

는 충분하지만

,

사진처럼 사실적인 이미지나 섬세한

그림을 만들어낼 수는 없습니다

.

그런 이미지를 만들

려면 빛

,

그림자

,

그리고 다른 스타일 측면을 다루는

법을 배울 수 있는 모델이 필요합니다

.

그래서 최신

확산 모델들은 또 다른 머신러닝 모델을 이용해서 저

해상도 이미지를 고해상도의 사실적인 이미지로 변환

하는 방법을 사용하지요

.

그런 추가 모델 역시 자기지

도 방식으로 훈련할 수 있는데요

.

고해상도 사진과 그

림에서 시작해서 점진적으로 거칠게 만든 다음

,

모델

을 실행할 때는 그 과정을 역으로 반복하는 방식으로

훈련하면 됩니다

(

그림

1

-

14

).

1.3.3 텍스트 생성

[

그림

1

-

17

]

에서 보듯이 텍스트를 생성하는 생성형

AI

모델의 입력은 순수하게 ...