
683
17
장
오토인코더와 GAN을 사용한 표현 학습과 생성적 학습
것이 좋습니다 (적어도 가장 하위층 하나 ).
출력층
입력층
입력층
단계 1
모든 데이터를 사용해
오토인코더 훈련하기
단계 2
레이블된 데이터에서
분류기 훈련하기
은닉층 3
은닉층 2
은닉층 1
출력층
은닉층 2
은닉층 1
파라미터 복사
소프트맥스
그림
17-6
오토인코더를 사용한 비지도 사전훈련
NOTE
_
레이블 없는 데이터는 많고 레이블된 데이터는 적은 경우가 많습니다. 레이블 없는 데이터를 만드
는 비용은 적습니다(예를 들어 간단한 스크립트로 수백만 개의 이미지를 인터넷에서 내려받을 수 있습니다).
하지만 이런 이미지에 레이블을 부여하는 것(예를 들어 귀여운 이미지를 분류하는 것)은 사람만이 할 수 있습
니다. 샘플을 레이블링하는 데는 시간과 비용이 많이 소모되므로 사람이 레이블링한 샘플이 몇천 개뿐인 경
우가 많습니다.
구현에 특별한 것은 없습니다. (레이블된 것과 레이블되지 않은) 모든 훈련 데이터를 사용해
오토인코더를 훈련하고, 그다음에 인코더 층을 재사용하여 새로운 신경망을 만들면 됩니다(이
장의 끝에 있는 연습문제를 참고하세요 ).
이제 적층 오토인코더를 훈련하기 위한 몇 가지 기술을 살펴봅니다.
17.3.5
가중치 묶기
방금 만든 것처럼 오토인코더가 완벽하게 대칭일 땐 디코더의 가중치와 인코더의 가중치를 ...