April 2021
Beginner to intermediate
472 pages
9h 23m
Korean
Content preview from 스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
Start your free trial
282
3
부
스파크 스트리밍
19.1
소스의 유형
일반적인 스트림 처리 프레임워크로서 스파크 스트리밍은 다양한 스트리밍 데이터 소스와 통합
할 수 있다.
작동 모드에 따라 분류할 때 다음 세 가지 유형의 소스가 있다.
●
기본 소스
●
리시버 기반 소스
●
직접 소스
19.1.1
기본 소스
기본 소스는 기본적으로
streamingContext
에 의해 제공된다. 그것들은 주로 예제 또는 테스트
소스로 제공되며 실패 복구 의미론을 제공하지 않는다. 따라서 운영 시스템 상에서는 사용하지
않는 것이 좋다.
다음은 기본 소스다.
파일 소스
파일시스템의 디렉터리를 모니터링하고 새 파일을 읽는 데 사용된다. 파일은 특히 데이터웨
어 하우스 및 많은 데이터 레이크 구현과 같은 배치 기반 통합 모델로부터 진화하는 시스템에
서 시스템 간에 데이터를 통신하는 광범위한 메커니즘이다.
큐 소스
데이터를 스파크 스트리밍에 주입하는 데 사용할 수 있는
streamingContext
의 로컬 생산
자
-
소비자 큐다. 일반적으로 테스트에 사용된다.
19
.
4
.
3
절에서는 공식적으로는 소스가 아니지만 큐
Queue
소스와 비슷한 기능을 수행하며 사용
하기가 더 쉬운
ConstantInputDStream
에 대해 이야기하겠다.
19.1.2
리시버 기반 소스
18
장에서 논의한 바와 같이 리시버는 스트리밍 소스의 데이터를 받아들여
RDD
형태로 스파크
283
19
장
스파크 스트리밍 소스
에 신뢰성 있는 방법으로 전달하는 역할을 담당하는 스파크 스트리밍의 특별한 과정이다. 리시
버는 백업 소스가 그러한 ...