fastai와 파이토치가 만나 꽃피운 딥러닝

566

3



딥러닝의 기반 지식

10

개 범주 중 올바른 하나만을 선택해야 한다는 점을 고려하면 시작이 꽤 좋습니다. 사전 학습

된 모델을 사용하지 않고, 완전히 처음부터 단

5

회의 에포크 동안만 학습을 진행했음에도 말이

죠! 더 깊은 모델을 사용하면 성능이 이보다 더 좋아지겠지만, 단순히 계층을 쌓아 올린다고 그

렇게 되지는 않습니다 (정말 그런지 직접 시도해보세요! ).

ResNets

는 이를 해결하려고





skip

connection

이라는 개념을 도입했습니다. 다음으로는 스킵 연결을 포함한

ResNet

을 다방면

으로 살펴봅니다.

14.2



CNN



ResNet

이제 책의 도입부부터 영상 처리에 사용해온

ResNets

모델을 구축하는 데 필요한 모든 조각이

준비되었습니다.

ResNet

의 주요 개념을 먼저 소개하고, 직전 모델과 비교해서 이미지네트 데

이터셋에서의 정확도를 어떻게 개선했는지 알아봅니다.

14.2.1



2015

년,

ResNet

논문의 저자는 특이한 현상을 발견했습니다. 배치 정규화를 사용했음에도 더

많은 계층으로 구성된 신경망이 더 적은 계층의 신경망보다 성능이 뛰어나지 않았습니다. 이들

의 근간인 신경망의 구조 자체에는 차이가 전혀 없었음에도 말이죠. 흥미롭게도 이 현상은 검

증용 데이터셋뿐만 아니라 학습용 데이터셋에서도 관측되었습니다. 논문에서는 다음과 같이

설명합니다.

우리가 수행한 실험에서 완전히 검증된 바와 같이, 뜻밖에도 이런 성능 저하는 과적합 때문이 아닙니

다. 또한 적당히 깊은 모델에 계층을 ...