스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

393

26

장

성능 튜닝

출할 수 있다는 것이다. 또한 그것은 모든 모니터링 시스템이 리소스 관리와 튜닝에 도움을 주는

시스템에서 정체 현상이 어떻게 그리고 어디서 발생하는지 더 잘 파악할 수 있게 해줄 것이다.

혼잡과 관련하여 위쪽으로 흐르는 정량화된 신호

upstream

-

flowing

,

quantified

signal

를 백프레셔

backpressure

라고 한다. 이는 문제의 시스템 (여기서는 우리 스파크 스트리밍 클러스터 )이 이러한

특정 순간에 처리될 것으로 예상할 수 있는 요소 수를 명시적으로 말해주는 연속 신호다. 백프레

셔 신호는 스파크에서 요소의 유입과 큐의 상태에 따라 기능이 달라지는 동적 신호로 설정되기

때문에 스로틀링과 관련하여 이점이 있다. 이와 같이 혼잡도가 없는 경우에는 시스템에 영향을

주지 않으며, 임의의 한도를 튜닝할 필요가 없으며, 잘못된 구성으로 인한 위험을 피한다(한도

가 너무 제한적이면 유휴 리소스 발생, 한도가 너무 허용 가능한 경우 오버플로 발생 ).

이 접근 방식은 버전

1

.

5

이후 스파크에서 사용할 수 있었으며 간단히 말해 동적 스로틀링을 제

공한다.

26.7

동적 스로틀링

스파크 스트리밍에서 동적 스로틀링은 기본적으로 비례

-

적분

-

미분

Proportional

-

Integral

-

Derivative

(

PID

) 제어기로 통제되며, 이 제어기는 초당 요소 수 측면에서 배치 간격으로 관측된 최신 수

집 속도

ingestion

rate

와 초당 처리된 요소 수인 처리 속도

processing

rate

간의 차이를 관찰한다. ...