스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

174

2

부

구조적 스트리밍

11.2.4

싱크 상세 탐색

이 장의 나머지 부분에서는 각 싱크에 사용할 수 있는 구성 및 옵션을 살펴볼 것이다. 적용 가능

성에 대한 철저한 견해를 제공하면서 자신의 애플리케이션을 개발할 때 레퍼런스의 역할을 할

수 있는 신뢰할 수 있는 싱크에 대해 심도 있게 설명할 것이다.

실험용 싱크는 범위가 제한되어 있으며, 이는 다음 범위에도 반영된다.

지금부터 이 장 마지막까지 사용자 지정 싱크

API

옵션을 살펴보고 자체 싱크를 개발할 때 고

려해야 할 사항을 검토한다.

TIP

구조적 스트리밍의 초기 탐색 단계에 있는 경우 일단 이 장의 나머지 과정을 건너뛰고 나중에 구조적 스트리

밍 잡 개발을 할 때 다시 살펴봐도 된다.

11.3

파일 싱크

파일은 공통 시스템 간 경계다. 스트리밍 프로세스의 싱크로 사용되는 경우 스트림 지향 처리 후

데이터가 유휴 상태

at

rest

가 된다. 이러한 파일은 데이터 레이크

data

lake

의 일부가 되거나 스트리

밍 및 배치 모드를 결합한 더 큰 처리 파이프라인의 일부로 다른(배치 ) 프로세스에 의해 사용

될 수 있다.

HDFS

또는 아마존

S3

객체 저장소처럼 확장 가능하고 신뢰할만한 분산 파일시스템을 통해 대

용량 데이터셋을 임의 형식의 파일로 저장할 수 있다. 탐색 또는 개발을 위해 로컬 모드에서 실

행 중일 ...