고성능 파이썬(2판)

316

고성능 파이썬(2판)

9.3.2

multiprocessing

을

Joblib

으로 바꾸기

Joblib

은

multiprocessing

을 개선한 모듈로 경량 파이프라이닝을 활성화하면서 병렬 계산

을 쉽게 하고, 결과를 쉽게 디스크 기반의 캐시로 사용할 수 있게 해준다.

Joblib

은 넘파이 배

열을 과학기술 계산에 쓰는 것에 초점을 맞춘다. 다음과 같은 경우

Joblib

을 사용하면 쉽게 성

능을 높일 수 있다.

●

당황스러울 정도로 병렬적인 루프를 처리하는 데 순수 파이썬을 사용 중이다 (넘파이 사용 여부는 상관

없다 ).

●

출력을 디스크에 저장해 세션과 세션 사이에 결과를 캐시할 수 있는데도, 부작용 없이

2

비용이 많이 드

는 함수를 호출한다.

●

프로세스 사이에 넘파이를 공유할 수 있지만 어떻게 하는지를 모른다 ( 여러분도

9

.

6

절

‘

multiprocessing

과 넘파이 데이터 공유하기’를 아직 읽지 않았다 ).

Joblib

은

Loky

라이브러리 위에 만들어졌고(

Locky

는 파이썬

concurrent

.

futures

를 개선

한 라이브러리다 )

cloudpickle

을 사용해 상호작용 영역에서 정의된 함수를 피클링할 수 있

다. 이를 통해 내장

multiprocessing

라이브러리를 사용할 때 흔히 경험하는 몇몇 문제를 해

결할 수 있다.

병렬 ...