
246
1
부
모델 구축
LSTM
기반의 신경망으로 쓰여졌습니다. 이 신경망은
SF
영화 대본으로 훈련했으며 모델에 시
드 콘텐츠를 제공해 새로운 영화 대본을 만들었습니다. 결과는 아주 재미있습니다. 영화 초반
의 내용은 말이 되지만 영화가 진행됨에 따라 점점 이해하기 어려워지는 것을 볼 수 있습니다.
이것이
LLM
의 신뢰성을 낮추는 일반적인 현상인 환각의 기반이 되기도 합니다.
8.4
데이터셋 확장하기
하드 코딩한 데이터셋에 사용했던 패턴을 동일하게 간단한 텍스트 파일로 확장할 수 있습니다.
예제를 위해 여러 노래에서 수집한
1
,
700
줄의 텍스트를 사용해 보겠습니다. 코드를 조금만 수
정하면 하드 코딩한 텍스트 대신 이 파일을 사용할 수 있습니다.
콜랩에서 이 데이터를 다운로드하려면 다음 코드를 실행합니다.
!wget --no-check-certificate \
https://storage.googleapis.com/learning-datasets/ \
irish-lyrics-eof.txt-O /tmp/irish-lyrics-eof.txt
다음 코드로 이 텍스트를 로드합니다.
data = open('irish-lyrics-eof.txt').read()
corpus = data.lower().split("\n")
나머지 코드는 거의 비슷합니다!
50
,
000
번의 에폭 ...