살아 움직이는 머신러닝 파이프라인 설계: 텐서플로와 함께하는 머신러닝 프로젝트 자동화

247

9

장

텐서플로 서비스를 사용한 고급 모델 배포

9.2.2

가지치기

모델 가지치기

model

pruning

는 네트워크 가중치의 정밀도를 줄이는 대안입니다. 불필요한 가중치

를 제거함으로써 훈련된 네트워크를 더 작은 네트워크로 줄일 수 있다는 아이디어입니다. 이는

실제로 ‘필요하지 않은’ 가중치를

0

으로 설정함을 의미합니다. 불필요한 가중치를

0

으로 설정

하면 추론이나 예측 속도를 높일 수 있습니다. 또한 희소 가중치가 있으면 압축률이 높아지므

로 가지치기한 모델을 더 작은 크기로 압축할 수 있습니다.

NOTE

_ 모델 압축 방법

텐서플로의 모델 최적화 패키지인

tensorflow

-

model

-

optimization

28

같은 도구를 사용해 학습 단계

에서 모델을 가지치기할 수 있습니다.

9.2.3

증류

네트워크 연결을 줄이는 대신 더 작고 덜 복잡한 신경망을 훈련시켜 훨씬 더 광범위한 네트워

크에서 훈련된 작업을 학습할 수도 있습니다. 이런 접근 방식을

증류

distillation

라고 합니다. 단순

히 큰 모델과 같은 목적으로 작은 머신러닝 모델을 훈련시키는 대신, 큰 모델(교사 신경망 )의

예측은 [그림

9

-

3

]과 같이 작은 모델(학생 신경망 )의 가중치 업데이트에 영향을 미칩니다. 교

사와 학생 신경망의 예측을 이용하여, 학생 네트워크는 교사 신경망에서 목표를 학습하도록 ...