
458
2
부
신경망과 딥러닝
11.5
요약 및 실용적인 가이드라인
이 장에서 여러 가지 기법을 다루었습니다. 어떤 것을 언제 써야 할지 고민일 수 있습니다. 작
업마다 사용하면 좋은 기법은 다르며, 선택에 명확한 기준은 없습니다. 하지만 [표
11
-
3
]에 하
이퍼파라미터 튜닝을 크게 하지 않고 대부분의 경우에 잘 맞는 설정을 정리했습니다. 하지만
이 기본값을 고정된 규칙으로 생각하지는 마세요!
표
11-3
기본
DNN
설정
하이퍼파라미터 기본값
커널 초기화
He
초기화
활성화 함수
ELU
정규화 얕은 신경일 경우 없음. 깊은 신경망이라면 배치 정규화
규제 조기 종료 (필요하면
ℓ
2
규제 추가)
옵티마이저 모멘텀 최적화 (또는
RMSProp
이나
Nadam
)
학습률 스케줄
1
사이클
네트워크가 완전 연결 층을 쌓은 단순한 모델이라면 자기 정규화를 사용할 수 있습니다. 이 경
우에는 [표
11
-
4
]에 있는 설정을 사용하세요.
표
11-4
자기 정규화를 위한
DNN
설정
하이퍼파라미터 기본값
커널 초기화 르쿤 초기화
활성화 함수
SELU
정규화 없음 (자기 정규화)
규제 필요하다면 알파 드롭아웃
옵티마이저 모멘텀 최적화 (또는
RMSProp
이나
Nadam
)
학습률 스케줄
1
사이클
입력 특성을 정규화해야 하는 것을 잊지 마세요! 비슷한 문제를 해결한 모델을 찾을 수 있다면
사전훈련된 신경망의 일부를 재사용해봐야 ...