스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

301

20

장

스파크 스트리밍 싱크

DStream

으로 대표되는 소스를 통해 데이터를 취득하고

DStream

API

를 활용한 일련의 변환

을 적용하여 비즈니스 로직을 구현한 후 그 결과를 외부 시스템에 검사, 저장 또는 생산하고 싶

을 것이다.

일반적인 스트리밍 모델에서는 스트리밍 프로세스로부터 데이터를 외부화하는 것을 담당하는

컴포넌트를 싱크라고 부른다 (

2

장 참조 ). 스파크 스트리밍에서 싱크는 이른바 출력 연산

output

operation

을 사용하여 구현된다.

이 장에서는 이러한 출력 연산을 통해 외부 시스템에 데이터를 생성하기 위한 스파크 스트리밍

의 기능과 양식을 살펴보기로 한다.

20.1

출력 연산

출력 연산은 모든 스파크 스트리밍 애플리케이션에서 중요한 역할을 한다. 그들은

DStream

을

통해 연산을 촉발하는 동시에 프로그램 가능한 인터페이스를 통해 결과 데이터에 대한 접근을

제공해야 한다.

[그림

20

-

1

]은 두 개의 스트림을 입력으로 가져가고, 그중 하나를 변환한 다음 그 결과를 데이

터베이스에 쓰기 전에 이들을 결합하는 일반적인 스파크 스트리밍 잡을 설명한다. 실행 시 해당

출력 연산으로 종료되는

DStream

변환 체인은 스파크 잡이 된다.

스파크 스트리밍 싱크

CHAPTER

20

302

3

부

스파크 스트리밍

결합 출력 연산

Src T(f)

Src

그림