밑바닥부터 시작하는 딥러닝

203

6

장

-

학습 관련 기술들

다. 그럼 순전파 때는 입력층의 가중치가

0

이기 때문에 두 번째 층의 뉴런에 모두 같은 값이 전

달됩니다. 두 번째 층의 모든 뉴런에 같은 값이 입력된다는 것은 역전파 때 두 번째 층의 가중치

가 모두 똑같이 갱신된다는 말이 됩니다 (‘곱셈 노드의 역전파’를 떠올려보세요 ). 그래서 가중치

들은 같은 초깃값에서 시작하고 갱신을 거쳐도 여전히 같은 값을 유지하는 것이죠. 이는 가중

치를 여러 개 갖는 의미를 사라지게 합니다. 이 ‘가중치가 고르게 되어버리는 상황’을 막으려면

(정확히는 가중치의 대칭적인 구조를 무너뜨리려면 ) 초깃값을 무작위로 설정해야 합니다.

6.2.2

은닉층의 활성화값 분포

은닉층의 활성화값(활성화 함수의 출력 데이터 )

*

의 분포를 관찰하면 중요한 정보를 얻을 수

있습니다. 이번 절에서는 가중치의 초깃값에 따라 은닉층 활성화값들이 어떻게 변화하는지 간

단한 실험을 해보려 합니다. 구체적으로는 활성화 함수로 시그모이드 함수 사용하는

5

층 신경

망에 무작위로 생성한 입력 데이터를 흘리며 각 층의 활성화값 분포를 히스토그램으로 그려보

겠습니다. 이 실험은 스탠퍼드 대학교의

CS231n

수업

[

5

]

을 참고했습니다.

이 실험을 위한 전체 소스 코드는

ch06

/

weight

_

init

_

activation

_

histogram

.

py