스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

367

25

장

스파크 스트리밍 모니터링

스트리밍 애플리케이션의 모니터링은 배포된 애플리케이션 운영상의 신뢰를 얻기 위해 필요하

며

CPU

, 메모리 그리고 보조 스토리지와 같이 애플리케이션이 사용하는 리소스에 대한 전체적

인 관점을 포함해야 한다. 분산 애플리케이션으로서 모니터링할 요소 수에 클러스터된 배포의

일부인 노드 수를 곱한다.

이런 복잡성을 관리하기 위해서는 종합적이고 스마트한 모니터링 시스템이 필요하다. 스트리밍

애플리케이션 런타임에 참여하는 모든 주요한 이동하는 부분

moving

part

으로부터 지표를 수집하

는 동시에, 이러한 지표를 이해 가능하고 소모적인 형태로 제공할 필요가 있다.

스파크 스트리밍의 경우 방금 논의한 일반 지표 외에도 주로 수신한 데이터양, 애플리케이션에

대해 선택한 배치 간격, 그리고 모든 마이크로배치의 실제 실행 시간과의 관계에 관심을 두고 있

다. 장기적으로 안정적인 스파크 스트리밍 잡을 위해서는 이 세 가지 파라미터 사이의 관계가 핵

심이다. 잡이 안정적인 범위 내에서 수행되도록 하기 위해서는 성과 모니터링을 개발 및 운영 프

로세스의 필수적인 부분으로 만들어야 한다.

스파크는 이 프로세스의 다양한 단계에 맞는 몇 가지 모니터링 인터페이스를 제공한다.

스트리밍

UI

실행 중인 잡에 대한 주요 지표 차트를 제공하는 웹 인터페이스