의 의미가 그대로 유지된 문장이었습니다. 하지만 이는 말뭉치에 있는 기존 노래의 구절에 과
대적합되었기 때문일 수 있습니다. 예를 들어 ‘
oer
railroad
ties
’로 시작하는 줄에서 ‘
my
tired
feet
’까지는 말뭉치에 있는 ‘
The
Lakes
of
Pontchartrain
’ 노래에서 그대로 가져온 부분입니
다. 이런 문제가 생긴다면 학습률을 낮추거나
LSTM
의 크기를 줄이는 것이 좋습니다. 하지만
우선 다양한 실험을 해보세요!
8.7
문자 기반 인코딩
지난 몇 개의 장에서 단어 기반 인코딩을 사용한 자연어 처리 작업을 알아보았습니다. 시작하
기에는 이 방법 좋지만 텍스트를 생성할 때는 문자 기반 인코딩을 고려할 수 있습니다. 말뭉치
에 있는 고유한 문자의 개수가 고유한 단어의 개수보다 훨씬 적기 때문입니다. 따라서 출력 층
에 훨씬 적은 뉴런을 둘 수 있고 출력 예측이 적은 개수의 확률로 나누어집니다. 예를 들어 셰
익스피어 데이터셋(
https
://
oreil
.
ly
/
XW
_
ab
)에는 고유한 문자가
65
개뿐입니다. 따라서 예
측을 만들 때 아일랜드 노래
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.