트랜스포머 트랜스포머: 최종 가이드 (Korean Edition)

제3장. 비전 작업을 위한트랜스포머

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

이 분야에서 트랜스포머가 제공하는 큰 이점 중 하나는 소량 데이터 학습(few-shot learning) 및 무데이터 학습(zero-shot learning) 능력입니다. 이미지 라벨링은 비용이 많이 들며, 암 탐지 사례에서 볼 수 있듯이 이용 가능한 라벨이 충분하지 않은 경우가 많습니다. 소수의 샘플로도 우수한 성능을 발휘할 수 있는 이미지 분류 또는 분할 모델을 보유하는 것은 상당한 진전입니다. 이는 데이터 부족이 심각한 문제인 작업에서 트랜스포머를 특히 가치 있게 만드는데, 이는 기존의 컨볼루션 신경망(CNN) 기반 모델들이 종종 한계에 부딪히는 과제입니다.

트랜스포머는 NLP 분야에 확실한 혁명을 일으켰습니다. 트랜스포머가 다음으로 정복해 나가고 있는 분야는 비전 작업입니다. 비전 트랜스포머(ViT) ¹ 는 컴퓨터 비전 분야에서 트랜스포머의 잠재력을 완전히 입증한 획기적인 성과입니다.

다음 섹션에서는 분류, 이미지 분할, 인스턴스 분할, 파노프틱 분할과 같은 비전 작업에 트랜스포머를 활용하는 방법을 보여드리겠습니다. 또한 직면할 수 있는 과제, 이미지 작업 시 이를 완화하는 방법, 그리고 모델 훈련 과정을 모니터링하는 방법에 대해 설명하겠습니다.

또한, 다양한 손실 함수가 결과의 품질에 미치는 영향에 대해서도 논의하겠습니다. 예를 들어, 의료 영상 분야에서 복합 손실 함수는 불균형이 심한 분할 작업에 더 적합하기 때문에 종종 가장 견고한 성능을 보입니다. 이러한 신중한 손실 함수 선택은 특히 암 검출과 같은 중요한 응용 분야에서 모델 성능을 크게 향상시킬 수 있습니다.

다양한 비전 작업 개요

비전 분야에서는 컴퓨터 비전의 다양한 응용 분야와 기법을 이해하는 데 중요한 몇 가지 구분이 있습니다. 이 섹션에서는 가장 일반적으로 사용되는 분류, 이미지 분할, 인스턴스 분할, 파노프틱 분할을 구분하여 설명하겠습니다. 후속 장에서는 객체 탐지, 자세 추정, 이미지 캡셔닝, 시각적 질문 응답을 다룰 예정인데, 이는 비디오 및 다중 모달 트랜스포머 모델 사례에 더 잘 부합하기 때문입니다:

분류

분류(Classification) 는 이미지 내 객체의 범주나 클래스를 예측하는 과정입니다. 이 작업은 존재하는 주요 객체나 특징을 기반으로 전체 이미지에 레이블을 할당하는 것을 포함합니다. 예를 들어, 동물 이미지 데이터셋에서 분류 모델은 각 이미지를 “고양이”, “개”, “새” 등으로 분류할 수 있습니다. 여기서 주요 목표는 객체의 위치나 특정 부위를 고려하지 않고 객체 전체를 식별하는 것입니다.

의미론적 이미지 분할

의미론적 이미지 분할(Semantic image segmentation )은 이미지를 여러 세그먼트나 영역으로 나누어 각 영역이 서로 다른 객체를 나타내도록 함으로써, 이미지 분류( )보다 한 단계 더 나아갑니다. 이 접근 방식은 이미지 내의 각 픽셀을 ...