스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

356

3

부

스파크 스트리밍

로 시작한다. 그 후 체크포인트에서 복구하는 방법, 체크포인팅에서 도입되는 운영 비용을 확인

하고 마지막으로 체크포인팅의 성능을 조정하는 몇 가지 기술을 논의한다.

24.1

체크포인트 사용법의 이해

온라인 비디오 상점에서 시간당 비디오가 재생된 횟수를 추적하는 다음 스트리밍 잡을 생각해보

자.

mapWithState

를 사용하여 스트림을 통해 들어오는 비디오 재생(

videoPlayed

) 이벤트를

추적하고 이벤트에 내장된 타임스탬프를 처리하여 시간 기반 집계를 결정한다.

이후 코드 조각에서는 다음과 같은 가정을 한다.

●

데이터 스트림은

VideoPlayed

(

video

-

id

,

client

-

id

,

timestamp

) 구조로 이루어져 있다.

●

DStream

[

VideoPlayed

] 타입의

videoPlayedDStream

이 있다.

●

다음과 같은 서명을 가진

trackVideoHits

함수가 있다.

//

데이터

구조

case class VideoPlayed

(

videoId

:

String

,

clientId

:

String

,

timestamp

:

Long

)

case class VideoPlayCount

(

videoId

:

String

,

day

:

Date

,

count

:

Long

)

//

상태

추적

함수

def trackVideoHits

(

videoId

: