AI 시스템 성능 엔지니어링 (Korean Edition)

제1장. 소개 및 AI 시스템 개요

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

2024년 말, 중국에 위치한 작은 스타트업인 DeepSeek.AI는 당시 최신 NVIDIA GPU를 사용하지 않고도 최첨단 대규모 언어 모델(LLM)을 훈련시켜 인공지능 커뮤니티를 놀라게 했습니다. 수출 제한으로 인해 DeepSeek의 엔지니어들은 최상위 NVIDIA Blackwell(B200, B300 등) 또는 Hopper(H100, H200 등) GPU를 구할 수 없었기 때문에, 당시 현지에서 구할 수 있고 수출 규정을 준수하는 NVIDIA H800 GPU를 비롯한 대안을 사용했습니다. 그들은 커스텀 커널과 모델 증류와 같은 고급 최적화 기법을 사용하여 성능이 다소 떨어지는 이 GPU들로부터 최대한의 성능을 끌어냈습니다.

이러한 한계에도 불구하고 DeepSeek.AI는 DeepSeek-R1 모델을 훈련시켜 당시 최고 성능의 NVIDIA 칩으로 훈련된 선도적인 프론티어 모델에 근접한 추론 능력을 달성했습니다. 이 사례는 AI 시스템 성능 엔지니어링에 능숙한 실무자와 연구자들이 제약 조건과 상관없이 사용 가능한 하드웨어에서 최대한의 성능을 끌어낼 수 있음을 보여줍니다.

예를 들어, DeepSeek 엔지니어들은 통신 대역폭을 희소 자원으로 간주하여, 해당 인프라에서는 불가능하다고 여겨졌던 성과를 달성하기 위해 전송되는 모든 바이트를 최적화했습니다. 그들은 제한된 대역폭의 상호 연결로 연결된 수천 개의 이러한 제약된 GPU로 확장하면서, 이러한 한계를 극복하기 위해 독창적인 소프트웨어 및 알고리즘 최적화를 활용했습니다.

DeepSeek의 접근법을 미국과 유럽의 주요 AI 연구소들이 취한 '무차별적 접근법'과 비교해 보십시오. 이들 연구소는 여전히 더 큰 컴퓨팅 클러스터와 더 큰 모델을 추구합니다. 모델 규모는 수백만 개에서 수십억 개, 이제는 수조 개의 매개변수로 폭발적으로 증가했습니다. 규모가 10배 증가할 때마다 질적으로 새로운 능력이 열리긴 했지만, 이는 막대한 비용과 자원을 요구합니다.

예를 들어, OpenAI의 GPT-4(2023년) 훈련 비용은 약 1억 달러로 추정되며, Google의 Gemini Ultra(2023년 말) 훈련 비용은 무려 약 1억 9,100만 달러로 추산됩니다. 이는 모델의 규모와 비용이 증가함에 따라 향후 자원 효율성의 필요성을 보여줍니다.

DeepSeek는 자사의 초고성능 모델 DeepSeek-R1이 600만 달러 미만의 컴퓨팅 비용으로 훈련되었다고 주장합니다. 이는 GPT-4나 Gemini Ultra 같은 모델보다 한 차원 낮은 수준입니다. 동시에 DeepSeek-R1은 수십 배 더 많은 비용이 든 경쟁 모델들의 성능과 맞먹습니다.

는 600만 달러 주장의 타당성(예: 단일 훈련 실행만 포함)과 제외 항목(예: 실험 및 모델 개발 파이프라인)에 대해 일부 의문을 제기했지만, 이 발표는 미국 금융 시장을 일시적으로 충격에 빠뜨렸습니다. ...