스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

101

6

장

스파크의 복원력 모델

대부분의 경우 스트리밍 잡은 길게 실행된다. 정의에 따르면 관찰되고 처리된 데이터의 스트림

은 시간이 지남에 따라 지속적으로 실행되는 잡으로 이어진다. 데이터를 처리할 때 데이터가 처

리 시스템을 떠난 후 재생산하기 어려운 중간 결과를 축적할 수 있다. 따라서 실패 비용은 상당

하며 경우에 따라서는 완전한 회복이 어려운 경우도 있다.

분산 시스템, 특히 일반 하드웨어에 의존하는 시스템에서는 실패가 크기의 함수다. 시스템이 클

수록 특정 구성 요소가 언제든지 고장이 발생할 (실패할 ) 확률이 높아진다. 분산 스트림 프로세

서는 이러한 운영 모델의 실패 가능성을 고려해야 한다.

이 장에서는 아파치 스파크 플랫폼이 제공하는 복원력, 즉 부분적 실패를 어떻게 복구할 수 있는

지, 장애가 발생했을 때 시스템을 통과하는 데이터에 대해 어떤 종류의 보장을 받을 수 있는지

살펴본다. 우리는 스파크의 다양한 내부 구성 요소와 핵심 데이터 구조와의 관계에 대한 개요를

얻는 것으로 시작한다. 이 지식을 가지고 다양한 수준에서 실패의 영향과 스파크가 그러한 실패

로부터 회복하기 위해 제공하는 조치들에 대해 계속 이해해 나갈 수 있다.

6.1

스파크의 탄력적인 분산 데이터셋

스파크는 탄력적 분산 데이터셋

Resilient

Distributed

Dataset ...