AI를 활용한 영상 생성 (Korean Edition)

제3장. 동영상 생성 파이프라인구현

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

학습 목표: 이 장에서는 동영상 데이터 작업을 위한 직관력을 기르고, AI를 활용한 동영상 생성을 위한 단계별 모듈형 훈련 파이프라인을 구현하는 방법을 배웁니다.

제2장에서는 다양한 유형의 동영상 데이터와 훈련을 위한 동영상 데이터 준비와 관련된 과제에 대해 배웠습니다. 이 장에서는 준비된 데이터를 작동하는 생성 모델로 변환하는 아키텍처의 기반을 구축할 것입니다. Latte (Latent Diffusion Transformer) 아키텍처를 구체적인 참고 사례로 삼아, 현대적인 동영상 생성 시스템에서 흔히 볼 수 있는 핵심 구성 요소를 구현해 보겠습니다. 이러한 구성 요소들은 특정 생성 모델을 넘어 보편적으로 적용될 수 있습니다.

기반 구축: 데이터 파이프라인 및 인코딩

모든 동영상 생성 모델은 동영상의 연속적이고 고차원적인 특성을 신경망이 처리할 수 있는 형태로 변환하는 중요한 과제로부터 시작됩니다. 초당 30회씩 변화하는 수백만 픽셀에 달할 수 있는 원시 동영상 데이터는 그 양이 너무 방대하고 중복성이 높아 직접 모델링하기에는 부적합합니다. 따라서 생성에 필요한 핵심 정보를 보존하면서 이 데이터를 압축, 인코딩 및 구조화하는 보다 견고한 파이프라인이 필요합니다.

이 과정을 복잡한 요리법을 위한 재료 준비 과정에 비유해 볼 수 있습니다. 채소를 통째로 냄비에 넣지는 않을 것입니다. 먼저 씻고, 껍질을 벗기고, 잘게 썰고, 정리할 것입니다. 마찬가지로, 모델이 비디오 데이터를 처리하기 전에 일련의 변환 과정을 거쳐 데이터를 준비해야 합니다.

VAE를 이용한 잠재 공간 압축

의 첫 번째이자 아마도 가장 중요한 단계는 이후의 모든 생성이 이루어지는 압축된 잠재 공간을 구축하는 것입니다. Latte 및 많은 관련 아키텍처에서 이 역할은 1장에서 언급한 변분 자동 인코더(VAE)가 수행합니다. VAE는 학습된 압축 엔진 역할을 합니다. 이 모델은 픽셀 공간이 아닌 잠재 공간에서 작동함으로써 지각적 품질을 유지하면서 계산 요구량을 1~2차수(OOM)까지 줄입니다.

VAE는 모든 픽셀이 똑같이 중요한 것은 아니라는 간단하지만 강력한 원리에 기반하여 작동합니다. 전통적인 기계 학습(ML) 분야에서 VAE의 선구자로 꼽히는 것들로는 주성분 분석(PCA) 이나 t-SNE와 같은 차원 축소 수학적 개념들이 있습니다. 원본 영상 정보의 상당 부분은 중복되어 있으며, 인접한 픽셀은 종종 비슷한 색상을 띠고, 넓은 영역은 균일한 배경일 수 있으며, 사람이 인지하지 못하는 미세한 세부 사항은 안전하게 제거할 수 있습니다. 압축된 잠재 표현을 학습함으로써, 각 공간 차원은 대개 일정한 비율로 축소됩니다. VAE를 통한 이러한 차원 축소는 시각적 충실도를 저하시키지 않으면서 효율적인 모델링을 가능하게 합니다.

실제 적용에서는 VAE를 대규모 비디오 데이터 코퍼스에서 별도로 훈련시켜, ...