AI를 위한 필수 수학

226

AI

를 위한 필수 수학

리츠 행렬 또는 순환 행렬 표기법 )은 이런 가중치에 대한 손실 함수의 미분 수식을 찾는 데 큰

도움이 된다.

5.6

풀링

풀링

pooling

은 대부분의 합성곱 신경망에 공통적으로 적용되는 계층이다. 풀링은 일반적으로 입

력이 합성곱 필터링을 거쳐 비선형 활성화 함수를 통과한 후에 적용된다. 풀링은 여러 가지 유

형이 있지만 그 유형들의 공통적인 개념은 특정 위치의 현재 출력을 인접 출력의 요약 통계로

대체한다는 것이다. 이미지로 예를 들면

4

개의 픽셀을 최댓값인 픽셀로 대체한다거나(최대 풀

링

max

pooling

), 평균값, 가중 평균, 제곱합의 제곱근 등으로도 풀링을 진행할 수 있다.

111

이미지 출처:

https://oreil.ly/y9x9P

그림

5-5

최대 풀링

111

2

×

2

최대 풀링

결과적으로 이렇게 하면 출력의 인접 픽셀을 요약하고 차원이 줄어드는 이점이 있지만 반대로

디테일을 희생하게 된다. 그래서 풀링은 세부적인 디테일의 예측이 필수적인 경우에는 그다지

적합하지 않다. 그럼에도 불구하고 풀링은 다음과 같은 이점을 가지고 있다.

●

입력이 공간적으로 조금 변화하더라도 대략적인 불변성을 담보한다. 이는 어떤 피처가 정확히 어떤 위치에

있는지보다 해당 피처가 존재하는지 여부가 더 중요한 경우에 매우 유용하다.

●

신경망의 ...