핸즈온 머신러닝(2판): 사이킷런, 케라스, 텐서플로 2를 활용한 머신러닝, 딥러닝 완벽 실무

887

부록 C

SVM 쌍대 문제

쌍대성

duality

을 이해하기 위해서는 먼저

라그랑주 승수법

Lagrange

multiplier

method

을 이해해야 합니

다. 기본 개념은 제약이 있는 최적화 문제에서 목적 함수로 제약을 옮김으로써 제약이 없는 문

제로 변환하는 것입니다. 간단한 예를 살펴보겠습니다.

등식 제약

equality

constraint

0123 =++ yx

의 조건하에서 함수

yxyxf

2

2

+=),(

를 최소화하는

x

와

y

의 값을 찾으려 합니다. 라그

랑주 승수법을 사용하기 위해 먼저

라그랑주 함수

Lagrangian

,

Lagrange

function

라는 새로운 함수

)(),(),,(

123

++−= yxyxfyxg

αα

을 정의합니다. 각 제약 (이 예에서는 하나입니다 )에 라

그랑주 승수

Lagrange

multiplier

라는 새로운 변수를 곱하고 원래 목적 함수에서 뺍니다.

조제프루이 라그랑주

Joseph

-

Louis

Lagrange

는 만약

)

ˆ

,

ˆ

( yx

가 제약이 있는 최적화 문제의 해라면

)

ˆ

,

ˆ

,

ˆ

(

α

yx

가 라그랑주 함수의

정류점

stationary

point

1

이 되는

α

ˆ

가 존재해야 한다는 것을 보였습니

다(정류점은 모든 편도함수가

0

인 지점입니다 ). 다시 말해

x

,

y

,

α

에 대한

g

(

x

,

y

,

α

)

의 편도

함수를 계산할 수 있으면 이 도함수가 모두

0

이 되는 ...