대규모 언어 모델: 어려운 부분 (Korean Edition)

제9장. 에필로그 : 비용 하락 시대의 LLMBA

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

로마에서는 모든 것에 대가가 따릅니다.

유베날리스

이 책 전반에 걸쳐 우리는 LLMBA를 책임감 있게 구축, 평가 및 배포하기 위한 기술적 기초를 다루었습니다. 올바른 모델 선택과 효과적인 prompt 작성부터, 구조화된 출력 및 RAG 시스템 구현, SALAD-Bench 및 TruthfulQA와 같은 벤치마크를 통한 성능 측정, DPO를 통한 모델 정렬 및 가드레일을 통한 보호에 이르기까지 다양한 내용을 다뤘습니다. 이러한 기술들이 바로 오늘날 우리가 실제 환경에서 LLMBA를 구축할 수 있게 해주는 역량입니다. 하지만 지금까지 논의한 모든 것의 밑바탕에는 이 분야의 미래 모습을 재편할 거시적인 추세가 있습니다. 바로 추론 비용이 놀라운 속도로 급감하고 있다는 점입니다. a16z 팀이 2024년 중반 이 추세를 분석했을 때, 비용이 매년 10배씩 감소하는 것으로 나타났습니다. 2025년 초에는 동등한 성능 수준에서 그 감소율이 연간 50~200배로 가속화되었습니다.

이러한 비용 급감은 지능의 한계 비용을 변화시킵니다. 설계 결정에는 여전히 비용-편익의 상충 관계가 존재하지만, 그 균형은 이동하고 있습니다. 과거에는 광범위하게 실행하기에는 너무 비싸다고 여겨졌던 평가, 아껴서 사용해야 했던 안전장치 점검, 그리고 경제적으로 정당화하기 어려웠던 대규모 모델들이 이제 더 실현 가능해졌습니다.

다중 안전장치(guardrails)를 활용한 다층 방어(defense-in-depth) 구현이 경제적으로 가능해졌습니다. Llama Guard로 입력값을, OpenAI Moderation으로 출력값을 검증하고, 경계 사례(edge cases)에는 LLM 심사관을 비용 효율적인 방식으로 활용할 수 있습니다. 평가 및 정렬을 위해 최첨단 모델을 사용하는 것도 가능해졌습니다. 이제 우리는 1년 전만 해도 감당하기 어려웠을 비용으로 수천 개의 예시에 대해 Claude나 GPT를 심사관으로 활용할 수 있습니다. 우리가 습득한 기술적 역량은 여전히 필수적이며, 이를 가장 잘 활용하는 사람들이 성공할 것입니다. 특히 데이터 전문가의 경우, 업무는 점점 더 이 책에서 중점적으로 다룬 과제들, 즉 평가, 맥락, 출력, 안전성, 정렬에 관한 것이 되어가고 있습니다.

추론 비용이 하락함에 따라 또 다른 추세가 나타나고 있습니다. 모델 성능은 절대적인 기준뿐만 아니라 사용된 추론 컴퓨팅 양에 대한 상대적인 기준으로 점점 더 평가되고 있습니다. 모델이 추론, 샘플링, 도구 사용, 또는 자체 점검에 더 많은 컴퓨팅 자원을 할당할 수 있게 되면 출력이 개선될 수 있으므로, 벤치마크는 토큰당, 달러당, 또는 테스트 시간 컴퓨팅 단위당 지능을 고려해야 합니다. 이는 우리가 시스템을 비교하는 방식을 변화시킵니다. 최고의 모델은 항상 원점수가 가장 높은 모델이 아니라, 주어진 비용, 지연 시간, 또는 ...