핸즈온 머신러닝(2판): 사이킷런, 케라스, 텐서플로 2를 활용한 머신러닝, 딥러닝 완벽 실무

422

2

부

신경망과 딥러닝

을 보였습니다. 이미지넷

ImageNet

분류 작업(이미지넷은 여러 클래스로 분류된 대규모 이미지

데이터베이스로 컴퓨터 비전 시스템을 평가하는 용도로 널리 사용됩니다 )에서 큰 성과를 냈습

니다. 그레이디언트 소실 문제가 크게 감소하여 하이퍼볼릭 탄젠트나 로지스틱 활성화 함수 같

은 수렴성을 가진 활성화 함수를 사용할 수 있습니다. 또 가중치 초기화에 네트워크가 훨씬 덜

민감해집니다. 저자들은 훨씬 큰 학습률을 사용하여 학습 과정의 속도를 크게 높일 수 있었습

니다. 특히 다음과 같은 내용을 언급했습니다.

“가장 뛰어난 이미지 분류 모델에 적용하면 배치 정규화가

14

배나 적은 훈련 단계에서 같은 정확도

를 달성하고 상당한 차이로 원래 모델을 앞지릅니다. […] 배치 정규화된 모델의 앙상블을 사용해

이미지넷 분류의 가장 뛰어난 수준에 도달했습니다. 사람의 판별 능력을 뛰어넘는

4

.

9

%의 톱-

5

검증 에러 (그리고

4

.

8

%의 테스트 에러 )를 달성했습니다.”

마지막으로 마치 또 하나의 선물처럼, 배치 정규화는 규제와 같은 역할을 하여 (이 장의 뒷부

분에 나오는 드롭아웃 같은 ) 다른 규제 기법의 필요성을 줄여줍니다.

15

그러나 (앞서 언급한 것처럼 입력 데이터를 정규화할 필요가 없어지지만) 배치 정규화는 모델

의 복잡도를 키웁니다. ...