파이토치로 배우는 LLM & AI

200

1

부

모델 구축

반면 랜덤하게 정답을 맞출 확률이

50

%라는 점을 생각하면 전체적인 정확도(약

70

%)는 상당

히 낮습니다. 사전 훈련 임베딩을 사용하면 과대적합을 줄이면서 빠르게 훈련할 수 있지만 사

전 훈련 임베딩이 유용할 때가 있고 현재 시나리오에 항상 최선은 아닐 때도 있다는 것을 이해

해야 합니다. 따라서 최적화 방법이나 적절한 다른 대안을 탐색해야 할 수도 있습니다.

6.5

마치며

이 장에서 텍스트의 감성을 이해하는 첫 번째 모델을 만들었습니다.

5

장에서 수행했던 토큰화

를 사용해 텍스트를 벡터로 매핑했습니다. 그리고 역전파를 사용해 문장의 레이블 기반으로 각

벡터의 적절한 방향을 학습했습니다. 마지막으로 단어 벡터를 모두 사용해 문장의 감성에 대한

이해를 구축했습니다.

또한 과대적합을 피하기 위해 모델을 최적화하는 방법을 살펴보고 최종 단어 벡터를 멋지게 시

각화해 보았습니다. 이번 장에서 살펴본 과정은 문장을 분류하는 좋은 방법이지만 단어 순서는

고려하지 않고 문장을 일련의 단어로 취급합니다. 하지만 단어의 등장 순서는 문장의 의미를

결정하는 중요한 요소입니다.

따라서 순서를 고려해 모델을 향상하는 방법을 알아보는 것이 좋습니다. 다음 장에는 새로운

층인 순환 신경망의 기초가 되는 순환 층을 살펴봅니다.