스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

147

10

장

구조적 스트리밍 소스

앞 장에서는 구조적 스트리밍 프로그래밍 모델에 대한 개요와 실질적인 적용 방법을 설명했다.

또한 어떻게 소스가 각 구조적 스트리밍 프로그램의 시작점이 될 수 있는지도 살펴보았다. 이

장에서는 소스의 일반적인 특성을 연구하고 다양한 구성 옵션 및 작동 모드를 포함하여 사용

가능한 소스를 더 자세히 살펴볼 것이다.

10.1

소스의 이해

구조적 스트리밍에서 소스는 스트리밍 데이터 공급자를 나타내는 추상화다. 스트리밍 데이터

는 시간이 지남에 따라 연속적으로 발생하는 이벤트 흐름으로, 단조롭게 증가하는 카운터로 인

덱스된 시퀀스로 볼 수 있다는 것이 소스 인터페이스의 기본 개념이다.

[그림

10

-

1

]은 스트림의 각 이벤트가 점점 증가하는 오프셋으로 간주되는 방법을 보여준다.

그림

10-1

인덱싱된 이벤트의 시퀀스로 표시되는 스트림

구조적 스트리밍 소스

CHAPTER

10

148

2

부

구조적 스트리밍

[그림

10

-

2

]에 표시된 것처럼 오프셋은 외부 소스에서 데이터를 요청하고 이미 소비된 데이터

를 나타내는 데 사용된다. 구조적 스트리밍은 외부 시스템에서 현재 오프셋을 ...