fastai와 파이토치가 만나 꽃피운 딥러닝

593

15



애플리케이션 구조 깊게 살펴보기

걸리거나 메모리를 많이 차지하지 않는다면, 더 작은 모델을 사용하는 방법은 마지막 선택지가

되어야만 합니다. 모델의 크기를 줄이면 데이터의 미묘한 관계를 학습하는 모델의 능력을 제한

하기 때문입니다.

그 대신



할 방법을 가장 먼저 찾아야 합니다. 이미 보유한 데이터에 레이

블을 더 추가하거나, 모델이 해결할 수 있는 다른 작업을 찾아보거나

72

, 여러 데이터 증강 기법

으로 추가 합성 데이터를 만드는 등의 방법이 있겠죠.

데이터를 충분히 모으고 적절한 데이터 증강을 사용하는 등 [그림

15

-

3

]의 단계를 모두 효과

적으로 활용하는데도 여전히 과적합이 발생하나요? 그렇다면 일반화된 구조를 고민해봐야 할

시점입니다. 가령 배치 정규화를 추가하면 정규화 기능을 향상할 수 있습니다.

데이터와 구조를 조정하는 데 최선을 다했음에도 과적합이 발생한다면, 정규화 기법을 살펴봐

야 합니다. 일반적으로 마지막 하나 또는 두 계층에 드롭아웃을 추가하면 괜찮은 정규화 기능

을 수행합니다. 그러나

AWD

-

LSTM

개발 이야기에서 배웠듯이 다른 종류의 드롭아웃을 모델

전체에 적용하면 더 큰 효과를 볼 수도 있습니다. 일반적으로 큰 모델에 정규화를 많이 적용할

수록 더 유연해지므로 정규화가 덜 적용된 작은 모델보다 정확도가 ...