스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

276

3

부

스파크 스트리밍

18.2.6

밸런싱 리소스 : 리시버와 프로세싱 코어

생성된 각 리시버가 클러스터에서 자체 코어를 소비한다는 점을 감안할 때 소비자 병렬 처리가

증가하면 클러스터에서 처리할 수 있는 코어 수가 증가한다.

스트리밍 분석 애플리케이션 전용

12

-

코어 클러스터가 있다고 가정하자. 단일 리시버를 사용하

는 경우 수신을 위해 하나의 코어를 사용하고 데이터 처리를 위해

9

개의 코어를 사용한다. 단일

리시버가 사용 가능한 모든 처리 코어에 작업을 수행하기에 충분한 데이터를 수신하지 못할 수

있으므로 클러스터가 충분히 활용되지 않을 수 있다. [그림

18

-

5

]는 진한 색 노드가 처리에 사

용되고 흐린 색 노드가 유휴 상태인 상황을 보여준다.

그림

18-5

단일 리시버 할당

클러스터 사용률을 향상시키기 위해 방금 설명한 것처럼 리시버 수를 늘린다. 가상 시나리오에서

4

개의 리시버를 사용하면 [그림

18

-

6

]에 표시된 것처럼 훨씬 더 나은 리소스 할당이 제공된다.

그림

18-6

다중 리시버 할당

배치 간격은 분석 요구에 의해 고정되며 동일하게 유지된다. 블록 간격은 무엇이어야 할까? 병

렬로 처리하는

4

개의

DStream

은 단일

DStream

보다 블록 간격당

4

배 많은 블록을 생성해야

한다. 따라서 동일한 블록 간격으로 통합된

DStream

의 파티션 수는 ...