
273
8
장
정렬 훈련과 추론
8.8
LLM
에서 추론 유도하기
LLM
의 추론을 개선하는 가장 간단한 방법은
1
장에서 소개한 사고의 사슬 (
CoT
)과 같은 프롬
프팅 기법을 사용하는 것입니다.
CoT
는 모델이 문제를 단계별로 해결하도록 유도해 답을 직접
생성하는 대신 답에 이르는 과정을 생성합니다.
8.8.1
추론 개선을 위한 검증기
LLM
이 복잡한 다단계 추론 문제에서 완벽한 성능을 보이지 못할 수 있지만, 이는 한계점이라
기보다는 새로운 접근법의 출발점이 될 수 있습니다. 핵심 아이디어는
LLM
의 강점인 창의적 생
성 능력을 전략적으로 활용하는 것입니다.
LLM
에 하나의 완벽한 답을 요구하는 대신, 여러 개
의 그럴듯한 해답 후보들을 생성하도록 요청할 수 있습니다. 이렇게 만들어진 후보들은 별도의
검증 시스템으로 평가됩니다. 흥미롭게도 많은 문제 영역에서는 정답을 처음부터 만들어 내는
것보다 주어진 답이 맞는지 확인하는 것이 훨씬 쉽습니다. 이러한 생성-검증 패러다임은
LLM
의 한계를 보완하면서도 창의적 잠재력을 최대한 활용할 수 있는 효과적인 전략입니다.
CAUTION
_
LLM
이 그럴듯한 해답 후보를 여러 개 생성한다고 해서 곧바로 추론 능력이 있다고 할 수는 없
습니다. 많은 문제 유형에서는 가능한 해답의 수가 애초에 매우 제한적이므로 우연히 맞는 답이 포함될 ...