밑바닥부터 시작하는 딥러닝

210

밑바닥부터 시작하는 딥러닝

He

초깃값의 경우는 학습이 순조롭게 이뤄지고 있습니다. 다만 학습 진도는

He

초깃값 쪽이

더 빠르군요.

지금까지 살펴보았듯 가중치의 초깃값은 신경망 학습에 아주 중요한 포인트입니다. 가중치의

초깃값에 따라 신경망 학습의 성패가 갈리는 경우가 많습니다. 초깃값의 중요성은 간과하기 쉬

운 부분입니다만, 어떤 일이든 시작(초깃값)이 중요한 법이죠. 가중치 초깃값의 중요성을 다

시 한번 강조하면서 이번 절을 마칩니다.

6.3

배치 정규화

앞 절에서는 각 층의 활성화값 분포를 관찰해보며, 가중치의 초깃값을 적절히 설정하면 각 층

의 활성화값 분포가 적당히 퍼지면서 학습이 원활하게 수행된다는 것을 배웠습니다. 그렇다면

각 층이 활성화를 적당히 퍼뜨리도록 ‘강제’해보면 어떨까요? 실은

배치 정규화

Batch

Normalization

[

11

]

가 그런 아이디어에서 출발한 방법입니다.

6.3.1

배치 정규화 알고리즘

배치 정규화는

2015

년에 제안된 방법입니다. 배치 정규화는 아직 세상에 나온 지 얼마 안 된

기법임에도 많은 연구자와 기술자가 즐겨 사용하고 있습니다. 실제로 기계학습 콘테스트의 결

과를 보면 이 배치 정규화를 사용하여 뛰어난 결과를 달성한 예가 많습니다.

배치 정규화가 주목받는 이유는 다음과 같습니다.

●

학습을 빨리 진행할 수 있다 (학습 속도 개선).

●

초깃값에 크게 의존하지 않는다 (골치 아픈 초깃값 선택 장애여 안녕!).

●

오버피팅을 억제한다 (드롭아웃 등의 필요성 감소 ).

딥러닝의 학습 시간이 길다는 ...