대규모 언어 모델: 어려운 부분 (Korean Edition)

서문

2024년, 우리는 Code.org에서 첫 번째 GenAI 커리큘럼 작업을 시작했습니다. 우리의 목표는 야심 찬 것이었습니다. 단순히 K-12 학생들에게 ChatGPT(또는 ChatGPT를 감싼 인터페이스)를 소개하는 대신, 학생들이 더 직접적으로 실험해 볼 수 있는 소규모 언어 모델을 개발하고자 했습니다.

우리는 이러한 접근 방식이 여러 가지 이점을 가져다줄 것이라고 믿었습니다. 첫째, 더 작고 오픈 소스인 모델이라면 호스팅, 가격, 모델 버전에 대해 더 많은 통제권을 가질 수 있을 것이라고 생각했습니다. 또한 작은 모델일수록 환각 현상이 더 자주 발생할 것이라고 예상했습니다. 이는 다소 이상한 요구 사항처럼 들릴 수 있지만, 빈번한 환각 현상은 교실에서 독특한 교육 기회를 제공합니다. 마지막으로, 학생들이 자신의 훈련 데이터를 사용하여 이러한 모델을 미세 조정하는 방법을 배울 수 있는 세상을 상상했습니다.

하지만 소형 언어 모델을 사용하는 이러한 접근 방식에도 어려움이 없지는 않았습니다. 헛소리가 빈번하게 발생하기 때문에, 학생들을 위해 높은 안전 기준을 설정해야 했으며, 최첨단 모델에서 제공하는 것과 유사한 안전 장치를 마련해야 했습니다. 또한 커리큘럼에 설정한 학습 목표에 대한 퇴보를 방지하기 위해 소형 모델을 정확하게 평가하고자 했습니다. 마지막으로, RAG(검색 강화 생성)나 다중 모달 입력과 같은 정교한 시스템에서 볼 수 있는 다양한 기능을 구현하면서도 중·고등학생들이 쉽게 접근할 수 있는 프레임워크를 만들고자 했습니다.

이러한 작업이 한창 진행되던 중, 저는 타르시스 소우자(Thársis Souza)를 소개받았습니다. 그 후 1년 동안 타르시스의 조언과 멘토링을 바탕으로, Code.org 팀은 Mistral 7B를 기반으로 한 소규모의 학생 중심 모델 세트를 성공적으로 구현하고 출시했습니다. 출시 이후, 이 모델들은 수만 명의 학생들이 수업 중 수십만 건의 대화를 생성하는 데 활용되었습니다.

시간이 흘러 오늘날, 타르시스가 우리의 경험을 바탕으로 계속해서 발전해 왔으며, 공동 저자인 조나단 레겐스타인과 함께 이 귀중한 책을 집필했다는 사실을 알게 되어 기쁩니다.

제목에서 알 수 있듯이, 이 책을 단순히 LLM을 가동하는 것을 넘어서는 복잡한 영역에 대한 지침서로 생각하시길 권합니다. 첫 몇 장에서는 LLM을 활용한 모델 구축의 기본 원리, 이러한 비결정적 모델을 평가하는 방법론, RAG를 활용하는 실제 전략, 그리고 예측 가능하고 구조화된 출력을 생성하는 방법을 배우게 될 것입니다.

이 모든 내용은 Code.org가 학생들을 위해 모델 규모를 확장하기 시작했을 때 매우 중요한 영역이었습니다. 자동화되고 명확하게 정의된 평가 전략을 갖추는 것은 특히 중요했습니다. 이는 우리가 모델을 업그레이드하거나 테스트할 때 확신을 높여주었을 뿐만 아니라, 제품 관리 팀이 그전까지 수행하던 수동 테스트의 상당 부분을 대체할 수 있게 해주었습니다.

이 책의 후반부는 자연스럽게 안전이라는 핵심 영역으로 전환되며, 의도치 않은 위험과 적대적 ...