트랜스포머 트랜스포머: 최종 가이드 (Korean Edition)

제6장. 소리에서 토큰으로, 그리고 다시 소리로: 오디오 영역의 트랜스포머

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

이 『 』 장에서는 차원 축을 따라 한 걸음 더 나아가게 됩니다. 여러분은 원래의 트랜스포머, 즉 언어 모델에서 시작하여 시계열로 넘어갔습니다. 그 후 비전과 비디오를 탐구했습니다. 이제 오디오 영역으로 깊이 들어가 보겠습니다. 스포일러를 미리 말씀드리자면, 트랜스포머는 다시 한번 놀라울 정도로 적응력이 뛰어나다는 것을 증명합니다. 알고 보니, 이산 토큰을 모델링하든, 이미지 패치를 모델링하든, 스펙트로그램 프레임을 모델링하든 상관없습니다. 핵심 논리는 그대로 유지됩니다. 이것이 바로 트랜스포머의 우아함입니다. 축은 바뀌어도 기본 아키텍처는 변하지 않습니다. 이제 여러분도 직접 느끼고 계실 겁니다. 트랜스포머는 단순한 모델이 아니라 추상화를 위한 프레임워크입니다. 이것이 바로 트랜스포머가 일시적인 유행이 아니라, 다양한 도메인에 걸쳐 모델링을 일반화하고 통합하는 새로운 방식인 이유입니다.

오디오가 특히 흥미로운 점은 시간적 구조와 스펙트럼 표현이 교차하는 지점에 위치한다는 것입니다. 언뜻 보면 오디오는 시간에 따른 파형일 뿐인 전형적인 시계열처럼 보일 수 있지만, 그 풍부함은 주파수 영역에 있습니다. 그래서 많은 오디오 모델이 원시 파형을 토큰화하기 전에 스펙트로그램이나 멜 주파수 특징으로 변환합니다.

스펙트로그램 ( spectrogram) 은 신호 내 다양한 주파수 성분의 에너지가 시간에 따라 어떻게 변화하는지 보여줌으로써( ), 소리에 대한 시간-주파수 관점을 제공합니다. 멜 주파수 표현( mel frequency representation)( )은 이러한 주파수들을 인간의 청각 특성을 더 잘 반영하는 지각적 척도로 매핑하여, 우리의 청각이 가장 민감한 저주파수 대역을 강조합니다. 그림 6-1은 일렉트로닉 댄스 음악(EDM)의 스펙트로그램과 멜 스펙트로그램을 클래식 음악의 것과 비교하여, 이들이 어떻게 뚜렷하게 다른 스펙트럼 패턴을 보이는지 보여줍니다. 여기서 EDM 신호는 넓은 주파수 범위에서 일관된 고에너지 비트를 나타내는 조밀하고 반복적인 수직 띠를 보인다는 것을 명확히 확인할 수 있습니다. 반면, 클래식 신호는 저주파수 대역에 집중된, 더 미묘하고 시간적으로 변화하는 에너지를 포함하고 있습니다. 이러한 원시 데이터 형태의 소리는 트랜스포머 모델이 환경 소리를 분류하고, 음성 패턴을 인식하며, 심지어 일관성과 제어력을 갖춘 다양한 음악 스타일을 생성할 수 있게 해줍니다.

그림 6-1. EDM과 클래식 음악의 20초 분량 발췌 부분을 선형 스펙트로그램(왼쪽)과 멜 스펙트로그램(오른쪽)으로 시각화한비교 .

이 장에서는 텍스트 음성 변환(TTS), ...