트랜스포머 트랜스포머: 최종 가이드 (Korean Edition)

제2장. 시계열을 위한트랜스포머

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

트랜스포머 는 재귀 신경망(RNN) 모델보다 긴 시퀀스 간의 상호작용을 더 효과적으로 포착할 수 있는 능력 덕분에 시계열 모델링 분야에서 인기를 얻고 있습니다. 트랜스포머의 자기 주의(self-attention) 메커니즘은 시퀀스 내 각 요소가 다른 모든 요소에 직접 주의를 기울일 수 있도록 함으로써, 네트워크 신호 이동 경로의 최대 길이를 이론적 최소값인 O(1)로 줄입니다. 이를 통해 재귀 구조가 필요 없어지고 정보 흐름이 더욱 효율적으로 이루어집니다. 그 결과, 트랜스포머는 장시퀀스 시계열 예측(LSTF) 및 이상 탐지, 시공간 시계열 예측과 같은 다른 분야에서 큰 잠재력을 보여줍니다.

기상 예보, 교통 예측, 산업 공정 제어, 전력 소비 계획과 같은 많은 실제 응용 분야에서는 긴 시계열의 예측이 필요합니다. LSTF는 입력과 출력 간의 정밀한 장거리 의존성을 효율적으로 포착할 수 있는 높은 예측 능력을 갖춘 모델을 요구합니다.

또한, 확률적 시계열 예측은 금융 및 기상 예보부터 컴퓨터 시스템 성능 관리에 이르기까지 많은 실제 응용 분야에서 중요한 과제입니다. 이러한 분야에서 정보에 입각한 의사 결정을 내리기 위해서는 정확한 확률적 예측이 필수적입니다. 확률적 시계열 예측은 단일한 특정 결과를 “예측”으로 식별하는 대신, 모든 가능한 미래 결과에 대한 확률 범위를 포함합니다.

이 장을 학습하는 동안 시계열 데이터 사용 시 고려해야 할 핵심 사항들을 배우게 될 것입니다. 또한시계열 예측, 이상 탐지, 시공간 시계열 예측과 같은 다양한시계열 분야의 기초적인 이해를 얻게 될 것입니다. 이 시계열 챕터를 마무리하는 마지막 단계로, Chronos, PatchTST, AnomalyBERT를 포함한 해당 분야의 다양한 트랜스포머 아키텍처를 살펴보고, 처음 두 모델을 자신의 데이터에 맞게 미세 조정하는 방법을 배우게 됩니다.

시계열 데이터의 복잡성 이해

시계열 데이터를 다룰 때( ), 분석 및 예측에 중대한 영향을 미칠 수 있는 특정 핵심 속성을 고려하는 것이 필수적입니다. 이 섹션에서는 시계열 데이터를 처리할 때 검토해야 할 가장 일반적인 속성에 대해 간략히 살펴봅니다.

자상관 및 부분 자상관

자기상관 ( )은 시계열 내 관측값 간의 내부 상관관계로, 흔히 관측값 간의 시간 간격에 대한 함수로 표현됩니다. 지연(lag)에 대한 자기상관의 수학적 정의는 $k,y(k)$,는 다음과 같습니다:

$$\gamma (k)=\frac{E(X_t-\mu )(X_{t+k}-\mu )}{E{(X_t-\mu )}^2},$$

여기서, $X_t,t=0,\pm 1,\pm 2,\dots$ 는 수열의 값을 나타내고, $\mu$ 는 수열의 평균을 나타냅니다. 기대값은 기호 $E$로 표기한다. 이 표본에 대한 표본 통계량은 다음 식을 통해 계산할 수 있다:

$$\hat{\gamma }(k)=\frac{{\sum }_{i=1}^{n-k}(x_t-\overline{x})(x_{t+k}-\overline{x})}{{\sum }_{i=1}^n{(x_t-\overline{x})}^2},$$

$\overline{x}$ 는 관측값의 평균이며, $x_1,x_2,\dots ,x_n$, 시계열의.