실무로 통하는 LLM 애플리케이션 설계

54

1

부

LLM의 구성 요소

logprobs

logprobs

는 각 출력 토큰에 대해 가장 확률이 높은 토큰과 그 로그 확률을 제공합니다. 오픈

AI

는 이를 확률

이 가장 높은 상위

20

개 토큰으로 제한합니다. 다양한 형태로

logprobs

정보를 활용하는 방법은 이후 장들

에서 논의합니다.

연습 문제 ●●●

오픈

AI

API

를 사용해 모델에 레알 마드리드와 바르셀로나 경기의 실시간 해설 일부

49

를 입력

해 보세요. 원한다면 팀 이름은 자유롭게 변경해도 됩니다. 모델에 남은 해설을 이어서 생성하도

록 요청해 보세요. 프롬프트,

temperature

,

logit

_

bias

,

presence

_

penalty

,

frequency

_

penalty

등의 설정을 조정하면서 실제 해설자의 말투와 분위기를 얼마나 잘 재현하는지 실험해

보세요.

LLM

이 생성한 텍스트가 실제 해설과 얼마나 비슷하거나 다른지도 함께 비교해 보세요.

1.7

LLM

의 강점과 한계

실질적으로 유용한

LLM

애플리케이션을 만들려면

LLM

의 강점과 한계를 직관적으로 이해하

는 역량이 필요합니다. 이 책에 담긴 내용을 바탕으로 충분한 실습을 거듭하면 이 직관을 자연

스럽게 갖출 수 있습니다. 전반적으로

LLM

은 언어 작업에 매우 능숙합니다. 철자나 문법 오류

를 거의 범하지 않으며, 사용자의 지시나 의도를 과거 기술보다 ...