밑바닥부터 시작하는 딥러닝 5

164

밑바닥부터 시작하는 딥러닝 5

6.2.2

선형 회귀 이론

지금

y

와

x

의 관계가 선형이라고 가정하고 있습니다. 따라서

x

로부터 예측되는

y

( 으로 표기)

는 다음 식으로 표현할 수 있습니다.

여기서

W

와

b

는 매개변수입니다(

W

는 스칼라라고 가정 ). 이번 문제는 데이터에 노이즈가 섞

여 있기 때문에

y

와 에 오차가 있습니다. 이때 오차 이 다음과 같이 정규 분포를 따른다

고 가정합니다.

●

이 평균

0

, 표준 편차 인 정규 분포를 따른다.

이 말은 다음과 같은 뜻이기도 합니다.

●

y

는 평균 , 표준 편차 인 정규 분포를 따른다.

수식으로 표현해봅시다.

여기서

p

(

y

|

x

;

W

,

b

)

는

x

가 주어졌을 때

y

의 확률(조건부 확률)을 뜻합니다. 이때 로그 가능

도는 다음과 같이 계산할 수 있습니다.

이 식에서 매개변수(

W

와

b

)가 포함된 항은 입니다. 로그 가능도를 최대

로 만드는 매개변수를 찾는 것이 목표이므로 을 목적 함수로 생각할 수

165

6

장

신경망

있습니다. 또한 의 값은 목적 함수를 최대화하는 매개변수의 값에 영향을 주지 않으니 무시

해도 됩니다. 그리고 목적 ...