스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

83

4

장

스트림 처리 엔진으로서의 아파치 스파크

4.3

지연 시간에 대한 이해

앞서 언급했듯이 스파크 스트리밍은 마이크로배칭을 선택할 수 있다. 일정한 간격으로 요소 덩

어리 (청크 )를 생성하고, 그 간격인 틱

tick

이 경과되면 마지막 간격에 걸쳐 수집된 데이터를 처리

하기 시작한다. 구조적 스트리밍은 문제의 간격을 가능한 한 작게 (마지막 마이크로배치의 처리

시간 ) 만들 것이라는 점에서 약간 다른 접근 방식을 취하며, 어떤 경우에는 연속 처리 모드도

제안한다. 그러나 오늘날 마이크로배칭은 아파치 스파크에서 여전히 스트림 처리의 지배적인

내부 실행 모드다.

마이크로배칭의 결과는 마이크로배치가 배치 간격의 최소 시간만큼 배치의 특정 요소의 처리

를 지연시키는 것이다.

먼저 마이크로배치가 기준 대기 시간을 생성한다. 약

1

초가 하한값으로 일반적인 숫자임에도

불구하고, 심사위원들은 여전히 이 지연 시간을 얼마나 작게 할 수 있는지에 대해 논의 중이다.

많은 애플리케이션의 경우 몇 분 동안의 대기 시간이면 충분하다. 예를 들어보자.

●

지난 몇 분 동안 웹사이트의 핵심 성과 지표를 표시하는 대시보드

●

소셜 네트워크에서 최신 트렌드 주제 추출

●

가구 구성원의 에너지 소비 추세 계산

●

추천 시스템에 새로운 미디어 소개

스파크는 기회 균등의 프로세서이며 작동하기 전에 하나의 배치로 (최대한 ) 모든 데이터 요소

를 지연시키는 반면, 다른 스트리밍 엔진은 우선순위가 있는 일부 요소를 빠르게 추적할 수 있

게 해주며, 이러한 요소들에 ...