대규모 언어 모델: 어려운 부분 (Korean Edition)

제8장. LLM 정렬: 사례 연구

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

원칙보다 특권을 더 중시하는 민족은 머지않아 둘 다 잃게 된다.

드와이트 D. 아이젠하워

본 장에서는 안전 위험을 평가하고 완화하기 위한 목적으로 유해한 prompt(예: LLM에게 폭탄 제조법을 묻는 경우) 및 안전하지 않은 모델 행동에 대해 논의합니다. 적절한 경우( ) 예시는 축약되거나 추상화되어 있습니다.

이 장에서 '정렬(alignment) '이란 모델의 동작을 정의된 정책이나 선호 사항에 맞추는 것을 의미합니다. 정책 정렬 은 LLM이 우리의 가치, 조직 지침 및 기타 규범에 따라 행동하여 올바른 이유로 올바른 방식으로 올바른 텍스트를 안정적으로 생성하도록 보장해야 하는 과제입니다. 순수하게 인터넷 데이터로만 훈련된 LLM은 텍스트를 통계적으로 예측하는 법을 배우게 되는데, 이는 진정으로 유용한 지식과 함께 인간의 편향, 유해한 콘텐츠, 허위 정보 및 유해한 언어 패턴도 함께 학습하게 됨을 의미합니다.

보다 실무적인 관점에서, 정책 정렬(policy alignment)이란 그 원시적인 능력을 예측 가능하고 통제 가능한 방식으로 유용하며, 정직하고, 무해한 시스템으로 다듬기 위해 사용하는 일련의 기법입니다. 정렬이 없다면, 우리는 한 순간에는 훌륭한 금융 조언을 생성했다가 다음 순간에는 위험한 허위 정보를 생성할 수도 있는 강력하지만 예측 불가능한 시스템을 갖게 됩니다. 정렬을 통해 우리는 행동을 신뢰할 수 있고 책임감 있게 배포할 수 있는 LLMBA를 구축할 수 있습니다.

안전성(이전 장에서 다룬 내용)과 정렬의 차이는 미묘하지만 중요합니다. 안전성은 정렬의 중요한 목표 중 하나이지만, 정렬에는 어조, 교육적 접근, 거절 방식, 도메인 관례, 제품별 행동 등도 포함될 수 있습니다. Llama Guard나 모더레이션 API와 같은 안전 도구는 외부 필터 역할을 합니다. 이들은 LLM이 이미 유해한 콘텐츠를 생성한 후, 혹은 유해한 입력 데이터가 모델에 도달하기 전에 이를 차단합니다. 반면 정렬은 내부에서 작용합니다. 모델의 근본적인 성향을 형성하여 애초에 유해한 콘텐츠를 생성할 가능성을 낮추고, 미묘한 상황에서 더 유용하게 작동하며 , 요청의 문자 그대로의 표면적 의미에 반응하기보다 그 이면에 담긴 의도를 더 잘 이해하도록 만듭니다.

잘 정렬된 모델은 가드레일을 통해 "면책 조항 없이 금융 조언을 제공하지 마라"는 지시를 받을 필요가 없습니다. 왜냐하면 모델은 자신의 역할을 이해하는 방식의 일부로 그 원칙을 내면화했기 때문입니다. 이는 정렬이 우리가 이미 구축한 안전 도구들을 보완한다는 것을 의미합니다. 즉, 가드레일은 정렬이 놓친 부분을 잡아내고, 훌륭한 정렬은 가드레일이 개입해야 하는 빈도를 줄여줍니다.

정책 정렬은 또한 여러 수준에서 동시에 작동합니다. 조직적 수준에서는 모델이 회사의 구체적인 지침을 따르도록 보장하는 것을 의미합니다. 예를 들어, ...