스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

278

3

부

스파크 스트리밍

streamingContext

.

checkpoint

(

dir

)

이 디렉터리는 체크포인트와 미리 쓰기 로그 모두에 사용된다.

spark

.

streaming

.

receiver

.

writeAheadLog

.

enable

(기본값:

false

)

미리 쓰기 프로세스를 활성화하려면

true

로 설정하자.

로그 쓰기 작업이 증가함에 따라 스트리밍 잡의 전체 처리량이 줄어들고 전체 리소스 사용량이

증가할 수 있음을 알아두자.

WAL

이 안정적인 파일시스템에 쓸 때 해당 파일시스템의 인프라에

는 스토리지 및 처리 용량 측면에서 로그에 대한 연속 쓰기 스트림을 수용할 수 있는 충분한 리

소스가 있어야 한다.

18.3

리시버가 없는 모델 또는 직접 모델

스파크 스트리밍은 일반적인 스트림 처리 프레임워크를 목표로 한다. 그 전제 내에서 리시버 모

델은 모든 스트리밍 소스의 통합을 가능하게 하는 일반적인 소스와 무관한 계약을 제공한다. 그

러나 일부 소스는 데이터 전달 프로세스에서 중개자로서 리시버의 역할이 불필요하게 되는 직접

소비 모델을 허용한다.

스파크 스트리밍 잡을 위한 스트리밍 백엔드로 카프카의 인기가 높아짐에 따라 추가 고려 대상

이 되었다. 이전 절에서는 장애에 직면했을 때 리시버 모델에 대한 데이터 손실을 완전히 없애기

위한 솔루션으로서

WAL

을 배운 바 있다.

카프카는 본질적으로 분산 커밋 로그의 구현이다. 신뢰할 수 있는 카프카 리시버가 구현되었을

때

WAL

의 사용이 카프카에 이미 존재하는 것과 동일한 기능을 복제하고 있다는 것이 명백해졌 ...