
670
2
부
신경망과 딥러닝
여기서 볼 수 있듯이
2018
년과
2019
년의 주요 혁신은 더 나은 부분 단어
subword
토큰화,
LSTM
에서 트랜스포머로 이동, 자기 지도 학습을 사용한 사전훈련된 범용 언어 모델, 구조적 변경이
적은 (또는 전혀 없는) 세부 튜닝입니다. 기술이 매우 빠르게 변하고 있습니다. 누구도 내년에
어떤 구조가 성공한다고 말할 수가 없습니다. 요즘이라면 확실히 트랜스포머입니다. 하지만 조
만간
CNN
이 될 수 있습니다 (예를 들면 마하 엘바야드
Maha
Elbayad
등의
2018
년 논문
43
을 참고하
세요. 연구자들은 시퀀스-투-시퀀스 작업을 위해 마스크드
2D
합성곱 층을 사용했습니다 ).
또는
RNN
이 깜짝 컴백할 수도 있습니다 (솨이 리
Shuai
Li
등의
2018
년 논문
44
을 참고하세요. 하
나의
RNN
층에서 서로 독립적인 뉴런을 만들어 훨씬 긴 시퀀스를 학습하는 심층
RNN
을 훈련
할 수 있습니다 ).
다음 장에서는 오토인코더를 사용해 비지도 방식으로 심층 표현을 학습하는 방법을 설명합니
다. 생성적 적대 신경망 (
GAN
)를 사용해 이미지 등을 생성해봅시다!
16.6
연습문제
1.
상태가 없는
RNN
대비 상태가 있는
RNN
의 장단점은 무엇인가요?
2.
왜 자동 번역에 시퀀스-투-시퀀스
RNN
대신 인코더-디코더
RNN
을 사용하나요? ...