핸즈온 머신러닝: 사이킷런과 텐서플로를 활용한 머신러닝, 딥러닝 실무

219

5

장

서포트 벡터 머신

식

5-6

선형

SVM

목적 함수의 쌍대 형식

021

2

1

1 1 1

≥=

−⋅

∑∑ ∑

= = =

)(

)()()()()()()(

,,,][

minimize

i

m

i

m

j

m

i

ijijiji

mi

tt

T

α

ααα

α

때일조건



xx

이 식을 최소화하는 벡터

α

ˆ

을 찾았다면 [식

5

-

7

]을 사용해 원 문제의 식을 최소화하는

w

ˆ

과

b

ˆ

을 계산할 수 있습니다.

식

5-7

쌍대 문제에서 구한 해로 원 문제의 해 계산하기

( )

0

1

1

>

=

=

∑

∑

⋅−=

=

)(

ˆ

)()(

)()()(

ˆ

ˆ

x

ˆ

ˆ

i

m

i

iTi

m

i

iii

tb

t

α

α

xw

w

1

s

n

훈련 샘플 수가 특성 개수보다 작을 때 원 문제보다 쌍대 문제를 푸는 것이 더 빠릅니다. 더 중

요한 것은 원 문제에서는 적용이 안 되는 커널 트릭을 가능하게 합니다. 그렇다면 커널 트릭은

도대체 무엇일까요?

5.4.5

커널

SVM

(

moons

데이터셋 같은 )

2

차원 데이터셋에

2

차 다항식 변환을 적용하고 선형

SVM

분류기를

변환된 이 훈련 세트에 적용한다고 합시다. [식

5

-

8

]은 우리가 적용하고자 하는

2

차 다항식 매

핑 함수

ϕ

입니다.

식

5-8

2

차 다항식 매핑

==

2

2

21

2

1

2

1

2

x

xx

x

x

x

φ

φ

)( x

(

(

(

(

(

(

변환된 벡터는

2

차원이 아니고

3

차원이 됩니다. 두 개의

2

차원 벡터

a

와

b

에

2

차 다항식 매핑

을 적용한 다음 변환된 벡터로 점곱

dot