May 2021
Beginner to intermediate
528 pages
11h 27m
Korean
Content preview from 고성능 파이썬(2판)
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
Start your free trial
375
10
장
클러스터와 작업 큐
이 장에서 배울 내용
• 클러스터가 유용한 이유
• 클러스터링에 드는 비용
•
multiprocessing
해법을 클러스터를 사용한 해법으로 바꾸는 방법
•
IPython
클러스터의 작동 방식
•
Dask
와
Swifter
를 사용한 팬더스 병렬화 방법
•
NSQ
가 강건한 프로덕션 시스템 구축에 도움이 되는 이유
일반적으로 함께 협력해서 공통의 과업을 해결하는 컴퓨터의 모음을
클러스터
라 한다. 외부에
서는 클러스터가 커다란 단일 시스템처럼 보일 수 있다.
1990
년대에는 지역 네트워크에 연결된 여러 일반
PC
를 사용해서 클러스터화한 처리를 제공
하는 개념이 유명해졌다. 이를 베오울프
Beowulf
클러스터 (
http
://
en
.
wikipedia
.
org
/
wiki
/
Beowulf
_
cluster
)라 한다. 구글은 자체 데이터 센터에서 (특히 맵리듀스
MapReduce
작업에 )
일반
PC
로 구성된 클러스터를 사용해서 이런 방식을 더 유행시켰다(
http
://
en
.
wikipedia
.
org
/
wiki
/
Google
_
platform
). 이런 확장의 다른 극단으로, 탑
500
top
500
프로젝트(
http
://
en
.
wikipedia
.
org
/
wiki
/
TOP500
)는 매년 가장 강력한 컴퓨터 시스템의 순위를 발표한다.
일반적으로 이런 시스템은 모두 클러스터화한 ...