밑바닥부터 시작하는 데이터 과학 데이터 분석을 위한 파이썬 프로그래밍과 수학·통계 기초

Data Science

274

󻱴󽴔󽴔󺧴󺲻󺞬

금방 학습이 끝날 것이다. 그리고 손실 함수의 값도 작아진 것을 확인할 수 있

다. 이제 파라미터를 살펴보자.

for param in net.params():

print(param)

대략 다음과 같은 신경망이 학습되었다.

hidden1 = -2.6 * x1 + -2.7 * x2 + 0.2 # NOR

hidden2 = 2.1 * x1 + 2.1 * x2 - 3.4 # AND

output = -3.1 * h1 + -2.6 * h2 + 1.8 # NOR

두 개의 입력값이 모두

1

이 아니라면

hidden1

이 활성화될 것이다. 반대로 두 입

력값이

1

이라면

hidden2

가 활성화될 것이다. 그리고 두 은닉층의 결괏값이

1

이

아니라면

output

이 활성화된다. 즉,

XOR

논리를 따라 두 입력값이 모두

1

이 아

닌 경우가 아니거나, 두 입력값이 모두

1

인 경우가 아니라면

output

이 활성화된

다는 것을 의미한다.

이 네트워크는

18

장에서 학습시킨 신경망과 다른 파라미터를 학습했지만, 둘

다

XOR

논리를 구현했다는 것에 주목하자.

19.7

다른 활성화 함수

여러 가지 이유로 이제는 시그모이드 함수를 활성화 함수로 자주 사용하지 않는

다. 첫 번째 이유는

sigmoid(0)

의 결괏값이

1

/

2

이기 때문이다. 즉, 뉴런에 입력

되는 값의 합이 ...