밑바닥부터 시작하는 딥러닝

257

7

장

-

합성곱 신경망(CNN)

7.7

대표적인

CNN

지금까지 제안된

CNN

네트워크의 구성은 다양합니다. 이번 절에서는 그중에서도 특히 중요한

네트워크를 두 개 소개합니다. 하나는

CNN

의 원조인

LeNet

[

20

]

이고, 다른 하나는 딥러닝이 주

목받도록 이끈

AlexNet

[

21

]

입니다.

7.7.1

LeNet

LeNet

은 손글씨 숫자를 인식하는 네트워크로,

1998

년에 제안되었습니다. [그림

7

-

27

]과 같

이 합성곱 계층과 풀링 계층 (정확히는 단순히 ‘원소를 줄이기’만 하는 서브샘플링 계층)을 반

복하고, 마지막으로 완전연결 계층을 거치면서 결과를 출력합니다.

그림

7-27ㅍ

LeNet

의 구성

[

20

]

LeNet

과 ‘현재의

CNN

’을 비교하면 몇 가지 면에서 차이가 있습니다. 첫 번째 차이는 활성화

함수입니다.

LeNet

은 시그모이드 함수를 사용하는 데 반해, 현재는 주로

ReLU

를 사용합니다.

또, 원래의

LeNet

은 서브샘플링을 하여 중간 데이터의 크기가 작아지지만 현재는 최대 풀링이

주류입니다.

이처럼

LeNet

과 현재의

CNN

은 얼마간 차이가 있지만 큰 차이는 아닙니다.

LeNet

이 지금부

터 거의

20

년 전에 제안된 ‘첫

CNN

’이라는 점을 생각하면 놀라운 일이죠.