스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

93

5

장

스파크의 분산 처리 모델

5.4

데이터 전송 의미론

스트리밍 모델에서 볼 수 있는 것처럼 스트리밍 잡이 실시간으로 생성되는 데이터를 기반으로

작동한다는 것은 중간 결과가 해당 스트리밍 파이프라인의 소비자 (컨슈머

consumer

)에 정기적으

로 제공될 필요가 있다는 것을 의미한다.

그러한 결과들은 일부 클러스터에 의해 만들어지고 있다. 이상적으로는 관측 가능한 결과가 데

이터 도착과 관련하여 일관성 있고, 그때마다 즉시 처리할 수 있고, 실시간으로 유지되기 바란

다. 이것은 우리가 정확한 결과를 원하고, 가능한 한 빨리 결과를 원한다는 것을 의미한다. 그러

나 분산 연산은 앞서 언급한 대로 때때로 개별 노드 장애뿐만 아니라 [그림

5

-

1

]과 같이 클러스

터의 일부분이 클러스터의 다른 부분과 통신할 수 없는 네트워크 파티션과 같은 상황에 직면한

다는 점에서 자체적인 문제를 안고 있다.

마스터

실행자

파티션

좀비실행자

출력계층

그림

5-1

네트워크 파티션

94

1

부

아파치 스파크를 사용한 스트림 처리의 기본

스파크는 드라이버/익스큐터

driver

/

executor

아키텍처를 사용하여 설계되었다. 특정 머신에서 드

라이버는 사용자의 잡 제출

job

submission

과 함께 잡 진행 상황

job

progression

을 추적하는 작업을

수행하며, 데이터가 도착할 때 해당 프로그램의 ...