실무로 통하는 LLM 애플리케이션 설계

254

2

부

LLM 활용하기

도움이 되는

사용자 요청이 해롭지 않다면

AI

는 해당 요청을 최대한 효과적으로 해결하려고 시도하며, 필요시 후속 질문

을 통해 정보를 더 얻으려고 해야 합니다.

정직한

AI

는 정확한 정보를 제공해야 하며 정보의 불확실성에 대해서도 적절한 수준의 추정치를 제공할 수 있어야

합니다. 또한 자신의 한계를 인식하고 이를 기반으로 응답할 수 있어야 합니다.

해롭지 않은

AI

는 공격적이거나 차별적인 언행을 하지 않아야 하며 개인이나 사회에 피해를 줄 수 있는 요청은 거부할 수

있어야 합니다.

이러한 원칙은 이상적으로 들립니다. 그렇다면

LLM

이 과연 이러한 기준을 충족할 수 있을까

요? 정렬 훈련은

LLM

이 이러한 원칙을 더 잘 따르도록 유도하는 데 활용되는 다양한 기법들로

구성된 분야입니다.

NOTE

_

원하는 가치와 원칙을 프롬프트에 명시하고

LLM

에 이를 따르도록 요청하면 모델이 더 잘 정렬된 방

향으로 작동할까요? 단순히

LLM

에 ‘착한 아이가 돼라’라고 지시하는 방식은 매력적으로 보일 수 있지만, 실제로

는 기대만큼의 성과를 내지 못했습니다.

8.2

강화 학습

단순히

LLM

에 바람직한 행동을 하라고 지시하는 것만으로는 충분하지 않으므로 모델을 더 정

교하게 조정해야 합니다.

6

장에서 다룬 정렬 데이터셋을 기반으로 한 지도 학습 방식의 파인

튜닝도 ...