
668
2
부
신경망과 딥러닝
이 글을 쓰는 시점에는 아직 텐서플로
2
에
Transformer
클래스나
MultiHeadAttention
클
래스가 없습니다. 하지만 언어 이해를 위한 트랜스퍼 모델을 구축하는 텐서플로 튜토리얼
(
https
://
homl
.
info
/
transformertuto
)을 참고할 수 있습니다. 또한
TF
허브 팀은 트랜스포
머 기반 모델 몇 개를 텐서플로
2
로 이식하고 있으므로 곧 사용할 수 있을 것입니다. 그동안에
는 트랜스포머 모델을 구현하는 것이 아주 어렵지 않다는 것을 알았으면 좋겠습니다. 직접 만
들어보면 공부하는 데 큰 도움이 될 것입니다!
16.5
언어 모델 분야의 최근 혁신
2018
년은 ‘
NLP
를 위한 이미지넷 시대’라고 부를 정도로 놀라운 속도로 발전되었습니다. 갈수
록 큰
LSTM
과 트랜스포머 기반의 모델이 엄청난 데이터셋에서 훈련되었습니다.
2018
년에 출
판된 다음 논문들을 확인해보길 추천합니다.
•
매슈 피터스
Matthew
Peters
의
ELMo
논문
36
은 언어 모델 기반의 임베딩
embeddings
from
language
model
(
ELMo
)
을 소개했습니다. 심층 양방향 언어 모델의 내부 상태에서 학습된 문맥이 반영된 단어 임베딩입니다. 예
를 들어 단어
queen
은 ‘
Queen
of
the
United
Kingdom
’과 ‘ ...