슈퍼컴퓨터 수준의 AI 하드웨어를 단일 랙에 압축한다고 상상해 보십시오. NVIDIA의 최신 아키텍처가 바로 이를 실현합니다. 이 장에서는NVIDIA가 CPU와 GPU를 강력한 슈퍼칩으로 융합한 후 초고속 상호 연결기술로 수십 개를 결합해 '상자 속 AI 슈퍼컴퓨터'를 어떻게 구현했는지 살펴봅니다. 기본 하드웨어 구성 요소인 Grace CPU와 Blackwell GPU를 살펴보고, 이들의 긴밀한 통합과 방대한 메모리 풀이 AI 엔지니어의 작업을 어떻게 용이하게 하는지 알아보겠습니다.
이어서 72개의 GPU를 마치 하나의 기계처럼 연결하는 네트워킹 패브릭으로 시야를 넓힐 것입니다. 이 과정에서 컴퓨팅 성능, 메모리 용량, 효율성 측면에서 이 시스템에 초능력을 부여하는 도약들을 강조할 것입니다. 마지막에는 이 첨단 하드웨어가 이전에는 불가능해 보였던 수조 개 매개변수 모델의 훈련과 서비스를 어떻게 가능하게 하는지 이해하게 될 것입니다.
CPU와 GPU 슈퍼칩
AI 확장성을 위한 NVIDIA의 접근법은 단일 통합 CPU + GPU 슈퍼칩 모듈 수준에서 시작됩니다. Hopper 세대부터 NVIDIA는 ARM 기반 CPU와 하나 이상의 GPU를 동일한 유닛에 패키징하고 고속 인터페이스로 긴밀하게 연결하기 시작했습니다. 그 결과 통합 컴퓨팅 엔진처럼 작동하는 단일 모듈이 탄생했습니다.
슈퍼칩의 첫 구현체는 Grace CPU 하나와 Hopper GPU 하나를 결합한 Grace Hopper(GH200)였습니다. 다음으로 등장한 Grace Blackwell(GB200) 슈퍼칩은 동일한 패키지 내에 Grace CPU 하나와 Blackwell GPU 두 개를 결합했습니다. 그림 2-1에서 볼 수 있듯이, Grace CPU는 모듈 중앙에 위치하며 두 개의 Blackwell GPU 다이에 둘러싸여 있습니다.
그림 2-1. NVIDIA Grace Blackwell 슈퍼칩 모듈은 단일 모듈에 하나의 Grace CPU(중앙)와 두 개의 Blackwell B200 GPU(좌측 상단 및 우측 상단)를 포함하며, 공유된 통합 메모리 공간을 가지고 NVLink-C2C(칩 간)라는 맞춤형 고속 링크로 연결되어 있습니다.
기존 시스템에서는 CPU와 GPU가 별도의 메모리 풀을 가지며 상대적으로 느린 버스(PCIe 등)를 통해 통신하므로 데이터가 오가며 복사되어야 합니다. NVIDIA의 슈퍼칩인 는 NVLink-C2C(칩 간)라는 맞춤형 고속 링크로 CPU와 GPU를 연결하여 이러한 장벽을 제거합니다.
NVLink-C2C는 GB200 슈퍼칩 내 Grace CPU와 Blackwell GPU 간에 최대 약 900GB/s의 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
