AI를 위한 필수 수학

188

AI

를 위한 필수 수학

카이밍 히

Kaming

He

초기화

초기 가중치를 평균이

0

, 분산이

2

/

n

인 가우스 분포에서 샘플링한다. 여기서

n

은 노드의 입력

수이다.

4.5

정규화

정규화는 훈련 함수에 대해 적절한 가중치를 선택하고 데이터에 대해 과적합을 방지하는 데 도

움이 된다. 즉, 훈련된 함수가 노이즈에 강하고 본 적 없는 데이터에 대해서도 잘 일반화할 수

있게 한다. 이번에는 신경망을 훈련할 때 사용되는 간단하고 인기 있는 정규화 방법 네 가지를

살펴본다.

4.5.1

드롭아웃

드롭아웃

dropout

은 훈련 중에 각 층에서 무작위로 선택된 뉴런을 제거하는 것이다. 보통 입력 층

의 노드 중 약

20

%, 각 은닉 층의 노드 중 절반 정도를 무작위로 제거한다. 출력 층 노드는 제

거하지 않는다. 드롭아웃은 부모 유전자의 절반이 사라지고 돌연변이가 소량 발생하는 유전적

재생산에서 영감을 얻었다. 이는 각 층마다 노드 수가 다른 여러 신경망을 한 번에 훈련하고 그

결과를 평균하는 효과가 있으며, 일반적으로 더 신뢰할 수 있는 결과를 생성한다.

드롭아웃을 구현하는 한 가지 방법은 각 층마다 해당 층의 각 노드가 제거될 확률을 지정하는

하이퍼파라미터

p

를 추가하는 것이다. 이전 층 노드의 출력을 선형 조합한 다음 활성화시는

각 노드의 기본 연산을 기억하자. 드롭아웃을 ...