파이토치로 배우는 LLM & AI

397

15

장

트랜스포머와 transformers

트랜스포머가 초기에는 기계 번역 작업을 개선하기 위해 고안되었다는 점을 생각하면

GPT

같

은 생성형

AI

에 앞선 센텐스피스가 국제화를 염두에 두고 설계되었다고 볼 수 있습니다.

15.6

마치며

이 장에서 현재

LLM

의 기반이 되는 구조인 트랜스포머와 이런 모델을 쉽게 사용하도록 도와주

는 허깅 페이스의 라이브러리

transformers

를 살펴보았습니다.

어텐션 메커니즘을 통해 원본 트랜스포머 구조가 어떻게 혁명을 일으켰는지 살펴봤습니다. 단

어를 위한 문맥 벡터는 시퀀스에 있는 다른 부분에 적절한 주의를 기울이도록 학습된 결과를

바탕으로 개선됩니다. 텍스트 이해에 뛰어난 인코더, 텍스트를 생성할 수 있는 디코더, 시퀀

스-투-시퀀스 모델을 위해 양쪽의 장점을 결합한 인코더-디코더 구조를 살펴봤습니다. 어텐

션, 피드포워드, 정규화 등의 메커니즘이 어떻게 작동하는지 이해하기 위해 이 구조를 자세히

파헤쳐 보았습니다.

그다음 허깅 페이스 라이브러리

transformers

를 알아봤습니다. 이 라이브러리를 사용하면 트

랜스포머 기반 모델을 (전체 추론 파이프라인을 포함해 ) 매우 쉽게 다운로드하고 사용할 수 있

습니다. 이 라이브러에는 배울 것이 많습니다. 이것이 좋은 출발점이 되기를 바랍니다.

다음 장에서는 한 발 더 나아가 사용자 정의 데이터로 특정 요구 사항에 맞춰

LLM

모델을 조정

하는 방법을 알아봤습니다. 특정 사용 사례에 맞도록 모델을 미세 튜닝하거나 프롬프트를 튜닝

하는 방법을 배우겠습니다. ...