AI를 활용한 영상 생성 (Korean Edition)

제6장. 동영상 이해를 위한비전-언어 모델

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

학습 목표: 이 장에서는 영상 이해를 위한 비전-언어 모델(VLM)의 아키텍처와 구현 방법을 학습하게 됩니다. 여기에는 3가지 구성 요소(비전 인코더, 프로젝터, 언어 모델)로 이루어진 설계, 시공간 추론을 위한 3D 위치 인코딩, 그리고 미세 조정 기능을 갖춘 실용적인 영상 질문-응답 시스템 구축 등이 포함됩니다.

제5장의미세 조정 기법을 바탕으로, 이제 우리는 상호 보완적인 과제를 다룹니다. 주어진 영상( )의 내용을 모델이 어떻게 이해하고 추론할 수 있을까요? VLM(비전-언어 모델)은 영상 이해를 언어 모델링 문제로 전환함으로써 이에 대한 해답을 제시합니다. 제2장에서 논의한 바와 같이, 완전한 의미적 이해는 VLM을 활용할 때 얻을 수 있는 추가적인 이점입니다.

생성에서 이해로

영상 생성이 마치 설명에 따라 그림을 그리는 것( )과 같다면, 영상 이해는 이미 존재하는 것을 분석하는 미술 비평과 같습니다. 이전 장에서는 이미지와 텍스트를 바탕으로 영상을 생성하는 방법을 배웠으며, 이 장에서는 영상에서 의미를 추출하여 텍스트로 변환하는 방법을 다룹니다. 이러한 두 기능은 상호 보완적입니다. 생성은 콘텐츠를 만들고, 이해는 이를 해석합니다. 이 두 가지가 결합되어 영상 AI 애플리케이션을 위한 완전한 루프를 형성합니다.

동영상 AI의 양면성

생성과 이해의 차이를 보여주는 두 가지 시나리오를 고려해 보자:

생성

한 영화 제작자가 CogVideo에 “골든 리트리버가 슬로우 모션으로 가을 낙엽 위를 달린다”라고 입력합니다. 모델은 텍스트 임베딩을 기반으로 무작위 노이즈를 반복적으로 제거하며, 설명과 일치하는 일관된 동영상이 생성될 때까지 이 과정을 반복합니다. 입력은 텍스트이고, 출력은 픽셀입니다.

이해

한 보안 분석가가 감시 카메라 영상을 업로드하고 “빨간 재킷을 입은 사람이 몇 시에 건물에 들어오나요?”라고 묻습니다. VLM은 영상 프레임을 처리하고, 시각적 특징을 질문과 연관 지은 뒤 “빨간 재킷을 입은 사람은 02:34에 들어옵니다”라고 응답합니다. 입력은 픽셀과 텍스트이며, 출력은 텍스트입니다.

앞서 언급했듯이, 이 두 가지 기능은 상호 보완적입니다. 생성은 콘텐츠를 만들고, 이해는 이를 해석합니다. 이 둘이 결합되어 완전한 루프를 형성합니다. 즉, 영상을 생성하고, 생성한 내용을 분석하며, 그 분석 결과를 바탕으로 더 나은 생성을 이끌어낼 수 있습니다. 영상 편집 보조 도구부터 자율 영상 제작 파이프라인에 이르기까지, 많은 신흥 애플리케이션에서는 이 두 가지 기능이 조화를 이루어 작동해야 합니다.

비디오 이해의 실제 적용 분야는 매우 광범위합니다:

동영상 검색

자연어 쿼리를 기반으로 방대한 동영상 아카이브에서 특정 순간 찾기

접근성

시각 장애인을 위한 동영상 콘텐츠의 음성 설명 생성

콘텐츠 검토

업로드된 동영상에서 정책 ...