AI를 위한 필수 수학

306

AI

를 위한 필수 수학

Chapter

5

에서처럼 순전파 중에는 한 개의 데이터 샘플에 대해 필터 내의 가중치 값이 동일하

다. 이는 우리가 순전파 과정을 병렬화할 수 있다는 것을 의미한다. 이런 이유로 합성곱 신경망

은 훈련하기에 효율적이라고 할 수 있다.

합성곱 신경망은 동시에 두 개 이상의 입력 채널, 즉

2

차원 숫자 행렬뿐만 아니라

3

차원 텐서

입력도 처리할 수 있다는 것을 상기해보자. 이미지의 경우라면 입력 이미지의 빨강, 초록, 파랑

채널을 한꺼번에 처리한다. 자연어에서 하나의 입력 샘플은 열 벡터로 표현된 단어들이 옆으로

나열된 것이다. 이제 우리는 같은 단어를 숫자 벡터로 표현하는 다양한 방법을 알고 있고, 각

방법마다 같은 단어의 다른 의미를 잡아낼 수 있다는 사실도 알게 되었다. 동일한 단어에 대한

여러 가지 벡터 표현은 반드시 동일한 길이일 필요는 없다. 다만 우리가 여러 벡터 표현을 동일

한 길이로 제한한다면 각 표현이 한 단어의 채널이 될 수 있고, 합성곱 신경망은 동일한 데이터

샘플의 모든 채널을 한 번에 처리할 수 있다.

Chapter

5

에서 살펴본 것처럼 합성곱 신경망은 가중치 공유, 풀링 층, 드롭 아웃, 작은 필터

크기 덕분에 효율적이다. 우리는 다양한 크기의 필터로 모델을 학습시킨 다음, 각기 다른 크기

의 필터 출력을 긴 벡터로 생각해 연결하고 이를 마지막 완전 연결 계층으로 전달시킬 수도 있

다. 물론 신경망의 마지막 계층은 감정 분류, 스팸 필터링, 텍스트 생성과 같이 원하는 작업을

수행한다. ...