스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

385

26

장

성능 튜닝

분산 스트리밍 애플리케이션의 성능 특성은 종종 그 작동에 관련된 내외부 요인 간의 복잡한

관계에 의해 결정된다.

외부 요인은 클러스터를 구성하는 호스트와 이들을 연결하는 네트워크처럼 애플리케이션이 실

행되는 환경에 구속된다. 각 호스트는

CPU

, 메모리, 스토리지와 같은 특정 성능 특성을 가진 리

소스를 제공한다. 예를 들어 일반적으로 느리지만 저렴한 스토리지 또는 스토리지 유닛당 더 높

은 비용으로 매우 빠른 액세스를 제공하는

SSD

solid

-

state

drive

어레이가 있는 자기 디스크를 사용

할 수 있다. 또는 네트워크 용량과 사용 가능한 인터넷 연결에 바인딩된 클라우드 스토리지를 사

용하고 있을 수 있다. 마찬가지로 데이터 생산자는 스트리밍 애플리케이션의 통제 밖에 있는 경

우가 많다.

내부 요인에서는 구현된 알고리즘의 복잡성, 애플리케이션에 할당된 리소스 및 애플리케이션

이 어떻게 동작해야 하는지 지시하는 특정 구성을 고려한다.

이 장에서는 먼저 스파크 스트리밍의 성능 요인을 보다 깊이 이해한다. 그런 다음 기존 잡의 성

능을 튜닝하기 위해 적용할 수 있는 몇 가지 전략을 살펴본다.

26.1

스파크 스트리밍의 성능 밸런스

스파크 스트리밍에서의 성능 튜닝은 때때로 복잡할 수 있지만 그것은 항상 배치 간격과 배치

성능 튜닝

CHAPTER