AI를 위한 필수 수학

247

Chapter 6 -

특이값 분해: 이미지 처리, 자연어 처리, 소셜 미디어

6.5.1

조건수와 연산 안정성

조건수는 연산 안정성에 매우 중요하다.

●

조건수는 행렬

A

가 공간을 얼마나 늘리는지 측정한다. 조건수가 너무 크면 한 방향으로 공간을 너무 많이

늘리게 된다. 이렇게 심하게 늘어난 공간에서 연산을 수행하는 것은 위험할 수 있다. 행렬

A

의 조건수가 클

때

Ab=x

v

v

의 방정식을 풀면 그 해

x

v

가 매우 불안정해진다. 이는 해

x

v

가

b

v

의 작은 변동에 매우 민감하다는

뜻이다. 즉,

b

v

에 작은 오차가 생길 경우 오차가 없을 때의 해와 크게 달라진다는 것이다. 이 불안정성은 기

하학적으로 쉽게 상상할 수 있다.

●

Ab=x

v

v

를 수치적으로 푸는 것 (

예

가우스 소거법

Gaussian

elimination

)이나 반복적인 방법으로 푸는 것은 그 행

렬의 조건수가 합리적일 때(매우 크지 않을 때) 잘 작동한다.

●

특히 조건수가 큰 행렬이 갖는 특징 중 하나는 공간을 너무 많이 늘려 저차원 공간으로 붕괴된다는 것이다.

재미있는 점은 매우 작은 특이값을 버리기로 결정하고 축소된 공간에서 작업한다면 우리의 계산이 완벽하

게 괜찮아진다는 것이다. 행렬이 예상대로 움직일 때 ‘이 행렬은 정상적이다’ 또는 ‘정상성을 보유한다’고 한

다. 조건수가 극도로 크다면 ...