AI 시스템 성능 엔지니어링 (Korean Edition)

제8장. 점유율 조정, 워프 효율성 및 명령어 수준 병렬성

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

현대 GPU 가속 워크로드는 하드웨어의 한계를 시험하고 있습니다. Blackwell과 같은 멀티 다이 GPU는 10TB/s NV-HBI 링크로 여러 레티클 제한 다이들을 연결하고 L2 캐시를 126MB로 확장합니다. 이러한 하드웨어 설계 선택은 메모리 대 컴퓨팅 트레이드오프와 점유율 최적 지점을 근본적으로 변화시킵니다. 이로 인해 프로파일과 최적화는 그 어느 때보다 중요해졌습니다. 메모리 최적화의 기초를 바탕으로, 이제 현대 GPU의 모든 성능을 최대한 활용하도록 설계된 고급 지연 시간 숨기기 기법과 처리량 향상 기법으로 넘어갑니다.

성능 병목 현상을 식별한 후 체계적인 최적화 전략을 적용하여 하나씩 제거하는 데 중점을 둘 것입니다. 본 장의 주요 주제는 점유율 조정, 워프 효율 최적화, 명령어 수준 병렬성 증대입니다.

본 장을 마치면 GPU 활용도 저하의 근본 원인을 파악하고 적절한 최적화 조합을 적용할 수 있게 될 것입니다. 또한 후속 장에서 다룰 CUDA 그래프 및 CUDA 스트림과 같은 프리미티브를 활용한 커널 융합 및 파이프라이닝 같은 고급 기법에 대한 준비도 갖추게 됩니다.

CUDA C++ 같은 고수준 언어와 PyTorch 같은 AI 프레임워크에 중점을 두지만, 자질과 튜닝의 원칙은 하드웨어 수준까지 스택의 모든 계층에 적용됩니다. 따라서 고수준 추상화로 완전히 해결하기 어려운 병목 현상을 진단하려면 저수준 하드웨어 성능에 대한 이해가 여전히 중요합니다.

GPU 병목 현상 자질 및 진단

최적화하기 전에 먼저 코드 내 병목 현상 을 식별하여 성능을 제한하는 하드웨어 또는 소프트웨어 리소스를 파악해야 합니다. 현대 NVIDIA GPU는 복잡하며, 메모리 대역폭, 메모리 지연 시간, 명령어 처리량, 동기화 오버헤드, 불충분한 병렬 처리, 호스트-장치 전송 지연 등 다양한 원인으로 속도 저하가 발생할 수 있습니다.

NVIDIA의 자질 생태계에는 Nsight Systems(명령줄 인터페이스 nsys)와 Nsight Compute(명령줄 인터페이스 ncu)가 포함됩니다. Nsight Systems는 CPU 스레드, GPU 커널, 메모리 전송의 시스템 수준 타임라인을 캡처합니다. 또한 Python 백트레이스와 Python 샘플링도 캡처할 수 있습니다.

PyTorch 프로파일러 및 다양한 시각화 도구와 결합하면 Nsight Systems 및 Nsight Compute를 통해 커널 성능 병목 현상을 진단하고, 루프라인 플롯을 분석하며, 반복적 최적화 작업의 효과를 측정할 수 있습니다.

Nsight Systems 타임라인 뷰

Nsight Systems 타임라인 뷰 는 동시성 문제, 전송 오버헤드 및 유휴 기간을 정확히 파악하는 데 도움이 됩니다. 예를 들어, 다음 코드를 실행하면 커널 런치 중복, CPU 준비 간격, 데이터 전송 타이밍 및 NVTX로 ...