쿠버네티스 창시자에게 배우는 모범 사례 2판

309

CHAPTER 14

쿠버네티스에서 머신러닝 실행하기

특이성 스케줄링

쿠버네티스는 자신이 모르는 리소스에 대해서는 어떤 결정도 내리지 않는다. 실제로 모델 훈

련을 수행하면

GPU

를

100

% 사용하지 않는다. 즉, 여러분이 기대한 만큼 리소스를 사용하지

않는다. 앞서 예제를 살펴보면

GPU

코어 수만 있을 뿐, 코어당 실행 가능한 스레드 수는 빠

져있다. 또

GPU

코어가 어느 버스에 있는지도 지정하지 않았으므로 서로 액세스해야 하는

잡들, 동일한 메모리에 액세스해야 하는 잡들이 동일한 쿠버네티스 노드에 배치될 가능성이

있다.

앞으로 디바이스 플러그인이 개발되면 이런 문제는 모두 해소되겠지만, 당장은 이제 막 구매

한 강력한 성능의

GPU

를

100

% 활용하지 못하는 현실이 답답할 것이다. 사실,

GPU

는 원래

하드웨어 자체가 일부(예:

0

.

1

)만 나누어 사용할 수 없게 설계되었으므로 멀티스레드를 지

원하는

GPU

에서도 정해진 용량만큼 사용하도록 지시하는 것은 불가능하다.

14.3.5

라이브러리, 드라이버, 커널 모듈

특수 하드웨어에 액세스하려면 전용 라이브러리와 드라이버, 커널 모듈이 필수다. 또 컨테이

너에서 실행 중인 툴이 이들을 사용하려면 컨테이너 런타임에 마운트되어 있어야 한다. “그

냥 컨테이너 이미지에 넣으면 안 되나?” 싶겠지만, 대답은 간단하다. ...