에이전트 시대의 AI 시스템 설계

467

8

장

제약 조건 해결

tensor_parallel_size=1,

speculative_model="google/gemma-2-2b-it",

num_speculative_tokens=5,

)

outputs = llm.generate(prompts, sampling_params)

for output in outputs:

prompt = output.prompt

generated_text = output.outputs[0].text

print(f"프롬프트: {prompt!r}, 생성된 텍스트: {generated_text!r}")

추측 디코딩은 §

8

.

3

“패턴

26

: 인퍼런스 최적화”에서도 논의한다.

8.1.3

예제

파이썬 코드 문서화 능력을 지닌

SLM

을 만든다고 하자.

이번 예제에서는 두 단계로 그런

SLM

을 만든다. 첫 단계에서는 문서화 능력이 있는

12B

모델

을

1B

매개변수 모델로 증류한다. 둘째 단계에서는 증류된 모델을

32

비트에서

4

비트로 양자

화한다. 이 예제의 전체 코드는 깃허브 저장소의

knowledge

_

distillation

.

py

파일에 있다.

증류

§

8

.

1

.

1

“문제” 절에서 보았듯이 젬마

3

1B

는 그 자체로는 문서화 작업을 잘 수행하지 못한다.

그때 사용한 프롬프트는 이런 모습이다.

다음 파이썬 코드를 상세하게 문서화하세요.

코드: ...