실무로 통하는 LLM 애플리케이션 설계

154

1

부

LLM의 구성 요소

print(f”Generated: {response.choices[0].message.content}”)

print(“Top probabilities:”)

for token in response.choices[0].logprobs.content[0].top_logprobs:

print(f”’{token.token}’: {token.logprob:.4f}”)

이 코드는 기존의

GPT

-

4o

모델을 호출해 최대 한 개의 토큰을 생성하도록 요청합니다. 출력

결과는 다음과 같습니다.

Generated: 13

Top probabilities:

‘13’: -0.3872

‘You’: -1.1372

‘I’: -8.2622

‘After’: -10.8872

‘you’: -11.1372

‘ You’: -11.2622

‘If’: -11.2622

‘ ‘: -13.1372

‘\(‘: -13.1372

‘To’: -13.3872

GPT

-

4o

는 답이

13

임을 매우 확신하며, 당연히 그렇습니다. 나머지 확률이 높은 토큰들은 모

두 출력 형식과 관련된 것들입니다.

TIP

추론 과정에서 점수가 가장 높은 토큰만 생성할 필요는 없습니다. 다양한 디코딩 전략을 사용해 더 풍부한 텍

스트를 생성할 수 있습니다. 이러한 전략은

5

장에서 자세히 다룰 예정입니다.

연습 문제 ...