fastai와 파이토치가 만나 꽃피운 딥러닝

557

13



합성곱 신경망

13.5



합성곱은 가중치 행렬에 두 제약이 있는 행렬 곱셈의 한 유형입니다. 일부 요소는 항상

0

이고

일부 요소는 서로 묶여 있습니다 (항상 같은 값을 갖도록 강제함).

1

장에서는

1986

년에 출간

된 『

Parallel

Distributed

Processing

』 책에서

8

가지 요구 사항을 보았습니다. 그중 하나는

‘유닛 간의 연결 패턴’이었습니다. 그리고 바로 이것이 두 제약의 역할입니다. 특정 연결 패턴을

적용하도록 강제하죠.

이 제약은 복잡한 시각적 특징을 표현하는 능력을 희생하지 않고도 모델이 훨씬 적은 파라미터

로 구성될 수 있도록 해줍니다. 즉 과적합을 줄이면서 더 깊은 모델을 더 빠르게 학습시킬 수

있죠. 일반 근사 정리가 단일 은닉 계층으로 구성된 완전 연결 신경망만으로도 모든 표현이





을 보여줬지만,



신경망 구조를 신중하게 고민하면 더 나은 모델을 학습시킬 수 있

음을 발견했습니다.



이라고 부르는 일반적인 선형 계층과 더불어, 합성곱은 가장 일반적인 신경망의 연결

패턴입니다. 하지만 앞으로 더 많은 패턴이 발견될 가능성이 높습니다.

또한 학습이 잘 진행되는지를 파악하기 위해 신경망의 계층 활성을 해석하는 방법과, 배치 정

규화가 학습을 정규화하고 활성값들을 완만하게 만드는 데 도움을 주는 방법을 살펴봤습니다.

다음 장에서는 두 계층을 모두 사용하여 영상 처리에서 가장 인기 있는 잔차 신경망을 구축해

보겠습니다.

13.6



1

특징이란 무엇인가요?

2

상단 선