AI를 위한 필수 수학

261

Chapter 6 -

특이값 분해: 이미지 처리, 자연어 처리, 소셜 미디어

문이다. 앞서 흔히 사용되는 알고리즘인

QR

분해로 행렬을 분해하고 하우스홀더 반사를 사용

해 쌍대각 행렬

bidiagonal

matrix

로 변환한 다음, 필요한 고유벡터와 고유값을 계산하는 반복 방법

을 사용한다고 소개했다. 하지만 안타깝게도 데이터셋이 끊임없이 증가하면 이런 효율적인 알

고리즘을 사용하더라도 너무 커서 분해하기 어렵다. 여기서 유일한 해결책은

랜덤 선형 대수

이

다. 이는 행렬 분해에 랜덤 샘플링 이론을 더한 효율적인 방법이다. 무작위성의 수치적 방법은

결정론적 방법보다 훨씬 연산 비용이 저렴하면서도 정확한 행렬 분해를 할 수 있는 놀라운 성

능을 발휘한다.

랜덤 특이값 분해

는 큰 데이터 행렬

X

의 열 공간을 샘플링하고 샘플링된 (훨씬 작

은) 행렬에 대해

QR

분해를 계산해

X

를 더 작은 공간에 투영한다(

Y

=

Q

t

X

이고

X QY.

).

그런 다음

Y

의 특이값 분해를 계산한다 (

Y

=

U

/

V

t

). 행렬

Q

는 직교 정규화되어 있으며

X

의

열 공간을 근사하므로 행렬

/

와

V

는 각각

X

,

Y

와 동일하다. 즉,

X

의

U

를 찾으려면

Y

와

Q

의

U

로부터 계산할 수 있다 (

QU

X

=

QU

Y

).

정리하기

Chapter

6

의 핵심은 다음과 같다.

U UV UV UVX

t

col