고성능 파이썬(2판)

361

9

장

multiprocessing 모듈

것처럼 사용할 수 있다. 여기서는

numpy

대신

multiprocessing

.

Array

가

RAM

을 관리한다.

[예제

9

-

31

]에서 각각의 포크한 프로세스가 전역

main

_

nparray

에 접근할 수 있음을 알 수 있

다. 각 프로세스에

numpy

객체의 복사본이 있지만, 그 객체들이 접근하는 하부의 바이트들은

공유 메모리에 있다. 우리의

worker

_

fn

은 (

idx

로) 선택된 행을 현재 프로세스의 식별자로 덮

어쓸 것이다.

예제

9-31

multiprocessing

을 사용해

numpy

배열 공유하기

import

os

import

multiprocessing

from

collections

import

Counter

import

ctypes

import

numpy

as

np

from

prettytable

import

PrettyTable

SIZE_A, SIZE_B = 10_000, 320_000 # 24GB

def

worker_fn(idx):

"

""

공유한 np 배열의 idx 행에 어떤 작업을 수행한다

"""

# 다른 프로세스가 이미 이 값을 변경하지 않았는지 확인한다

assert

main_nparray[idx, 0] == DEFAULT_VALUE

# 하위 프로세스의 내부에서는 PID와 배열의 id를 출력해서

# 복사본을 ...