스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

171

11

장

구조적 스트리밍 싱크

앞 장에서는 구조적 스트리밍이 처리할 데이터를 획득할 수 있는 추상화인 소스를 살펴봤다. 해

당 데이터가 처리된 후에는 데이터로 무언가 수행하기 원할 것이다. 나중에 쿼리할 수 있도록 데

이터베이스에, 추가적인 처리 (배치 처리 )를 위해 파일에, 또는 데이터를 계속 움직이게 하기

위해 다른 스트리밍 백엔드에 쓸 수 있다.

구조적 스트리밍에서 싱크

sink

는 외부 시스템에 데이터를 생성하는 방법을 나타내는 추상화다.

구조적 스트리밍에는 여러 내장형

built

-

in

소스가 제공되며 기본적으로 지원되지 않는 다른 시스

템에 대한 사용자 지정 싱크를 만들 수 있는

API

를 정의한다.

이 장에서는 싱크 작동 방식을 살펴보고, 구조적 스트리밍에서 제공하는 싱크의 세부 사항을 검

토할 것이며, 기본 구현에서 지원되지 않는 시스템에 데이터를 기록하기 위해 사용자 지정 싱크

를 생성하는 방법을 살펴볼 것이다.

11.1

싱크의 이해

싱크는 구조적 스트리밍의 내부 데이터 표현과 외부 시스템 사이에서 출력 어댑터 역할을 한다.

이는 스트림 처리로 발생한 데이터의 쓰기 경로를 제공한다. 게다가 신뢰할만한 데이터 전송의

루프를 닫아야 한다.

구조적 스트리밍 싱크

CHAPTER

11