스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

104

1

부

아파치 스파크를 사용한 스트림 처리의 기본

이 종속성 체인은 특정 유형의 그래프인 방향성 비순환 그래프

Directed

Acyclic

Graph

(

DAG

)를 형

성한다.

DAG

는 내부 데이터와 그 의존성을 나타내기 때문에

DAGSceduler

라는 적합한 명칭의

스케줄러에 연산 분배 방법을 알려주고, 실패 복구 기능의 기초가 되기도 한다.

시스템은 이러한 분산 데이터 수집의 순서 생성을 추적할 때 수행한 작업과 수행해야 할 작업을

추적한다.

6.2

스파크 컴포넌트

스파크에서 어떤 수준의 내결함성이 작동하는지 이해하려면 일부 핵심 개념의 명명법을 살펴보

는 것이 유용하다. 이전 절에서 보았듯이 사용자가 [그림

6

-

3

]에 표시된 것처럼 청크로 분할되

어 다양한 시스템에서 실행되는 프로그램을 제공한다고 가정한다.

사용자 프로그램

익스큐터

RDD

파티션

스테이지

태스크

그림

6-3

스파크 명명법

스파크 런타임의 어휘를 정의하는 [그림

6

-

3

]에서 설명하는 단계를 살펴보자.

사용자 프로그램

스파크 스트리밍의 사용자 애플리케이션은 액션

action

및 변환

transformation

으로 분류된 복원

력 있는 데이터 구조 (

RDD

,

DStream

, 스트리밍 데이터셋 등 )에서 작동하는 사용자 지정

함수 호출로 구성된다.

105

6

장

스파크의 복원력 모델

변형된 사용자 프로그램

사용자 프로그램은 ...