April 2021
Beginner to intermediate
472 pages
9h 23m
Korean
Content preview from 스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
Start your free trial
288
3
부
스파크 스트리밍
기억 윈도우는 마이크로배치로 계산된다. 비록 구성 파라미터인
spark
.
streaming
.
minRemem
berDuration
이 지속 기간으로 제공되더라도 실제 윈도우는
ceiling
(
remember
_
duration
/
batch
_
interval
)
으로 계산된다.
예를 들어
60
초의 기본 기억 지속 시간과
45
초의 배치 간격을 사용하면 기억 배치의 수는
ceil
(
60
/
45
)
=
2
가 된다. 이는 기억 기간의 실제 지속 시간이
90
초라는 것을 의미한다.
CAUTION
_
파일 소스는 어떠한 데이터 신뢰성 보증도 제공하지 않는다. 파일 소스를 사용하는 스트리밍
프로세스를 다시 시작할 때 복구 의미론은 [그림
1
9
-
2
]에 묘사된 클럭 시간과 기억 윈도우의 역학에 기초한
다. 즉, 이미 처리된 파일이 다시 적격화됨에 따라 중복된 기록에서 빠른 복구가 발생할 수 있는 반면, 복구 시
간이 길면 처리되지 않은 파일이 기억 윈도우 시점을 지나 노후화되어 부적합한 파일이 되어 데이터 손실이
발생할 수 있다. 강력한 파일 기반 스트림 통합을 위해 우리는 구조화된 스트리밍과 해당 파일 소스의 사용을
권장한다.
19.4
큐 소스
큐 소스는 프로그래밍 소스다. 외부 시스템에서 데이터를 받지 않는다. 대신 소비자
consumer
로서
DStream
을 생성할 수