스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

143

9

장

구조적 스트리밍 작동

그런 다음 정적 데이터셋

inner

조인에 스트리밍 데이터셋을 사용하여

sensorId

를 키로 하여

센서 데이터를 해당 참조와 상관시킨다.

애플리케이션을 완성하기 위해 기준 데이터의 최소

-

최대 범위를 사용하여 센서 판독값의 실젯

값을 계산한다.

9.3

스트리밍 싱크에 쓰기

스트리밍 애플리케이션의 마지막 단계는 풍부한

IoT

데이터를 파케이 형식 파일에 쓰는 것이

다. 구조적 스트리밍에서는

write

작업이 중요하다. 선언된 변환이 스트림에서 완료되었음을

표시하고 쓰기

write

모드를 정의하며

start

()

를 호출하면 연속 쿼리 처리가 시작된다.

구조적 스트리밍에서 모든 작업은 스트리밍 데이터로 수행하려는 작업에 대한 늦은 선언이다.

start

()

를 호출할 때만 스트림의 실제 소비가 시작되고 데이터에 대한 쿼리 작업이 실제 결과

로 구체화된다.

val knownSensorsQuery

=

knownSensors

.

writeStream

.

outputMode

("

append

")

.

format

("

parquet

")

.

option

("

path

",

targetPath

)

.

option

("

checkpointLocation

",

"/

tmp

/

checkpoint

")

.

start

()

이 작업을 분류해보자.

●

writeStream

은 유연한

fluent

인터페이스를 ...