April 2021
Beginner to intermediate
472 pages
9h 23m
Korean
Content preview from 스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
Start your free trial
216
2
부
구조적 스트리밍
작업은
[
map
|
flatMap
]
GroupWithState
작업의 진입점이 되는 중간 구조인
KeyValueGrouped
Dataset
을 생성한다.
매핑 기능 외에도 타임아웃 유형을 제공해야 한다. 타임아웃 유형은
ProcessingTimeTimeout
또
는
EventTimeTimeout
일 수 있다. 상태 관리를 위한 이벤트 타임스탬프에 의존하지 않기 때문
에
ProcessingTimeTimeout
을 선택했다. 이 장의 뒷부분에서 시간 초과 관리에 대해 자세히
설명한다.
마지막으로 콘솔 싱크를 사용하여 쿼리 결과를 쉽게 관찰할 수 있다.
val outQuery
=
weatherEventsMovingAverage
.
writeStream
.
format
("
console
")
.
outputMode
("
update
")
.
start
()
+
---------
+
-------------------
+
-------------------
+
------------
+
------------
+
|
stationId
|
startTime
|
endTime
|
pressureAvg
|
tempAvg
|
+
---------
+
-------------------
+
-------------------
+
------------
+
------------
+
|
d1e46a42
|
2018
-
07
-
08 19 ...