머신러닝 시스템 설계

257

7

장

모델 배포와 예측 서비스

7.3.1 7.3.1

저차원 인수분해저차원 인수분해

저차원 인수분해

low

-

rank

factorization

의 핵심 아이디어는 고차원 텐서를 저차원 텐서로 대체하는

것입니다.

23

한 가지 유형은 소형 합성곱 필터

compact

convolutional

filter

로, 매개변수 개수를 줄이고

속도를 높이기 위해 과도하게 매개변수화된(매개변수가 너무 많은) 합성곱 필터를 소형 블록

으로 대체합니다.

예를 들어, 스퀴즈넷

SqueezeNet

은

3

×

3

합성곱을

1

×

1

합성곱으로 대체하는 등 여러 전략을 사

용해

50

배 적은 매개변수로 이미지넷에서 알렉스넷 수준의 정확도를 달성합니다.

24

마찬가지로 모바일넷

MobileNet

은 크기

K

×

K

×

C

인 표준 합성곱을 깊이별 합성곱

depthwise

convolution

과 점별 합성곱

pointwise

convolution

(

1

×

1

×

C

)으로 분해합니다. 이때

K

는 커널 크기이

고

C

는 채널 개수입니다. 이는 각각의 새로운 합성곱이 매개변수를

K

2

C

개가 아니라

K

2

+

C

개만 사용함을 의미합니다.

K

=

3

이면 매개변수 개수가

8

~

9

배 감소합니다 (그림

7

-

9

).

25

(

a

) 표준 합성곱 필터

(

b

) 깊이별 합성곱 필터

(

c

) 깊이별 분리 가능한 합성곱의 맥락에서 점별

합성곱인

1

×

1

합성곱 필터