스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

293

19

장

스파크 스트리밍 소스

이제

sensorDataGeneratorRDD

를 사용하여

ConstantInputDStream

을 생성할 수 있다.

import org

.

apache

.

spark

.

streaming

.

dstream

.

ConstantInputDStream

//

ssc

는

활성

스트리밍

컨텍스트다

.

val stream

:

DStream

[()

=

>

String

]

=

new

ConstantInputDStream

(

ssc

,

sensorDataGeneratorRDD

)

DStream

[() =

>

String

]

의 타입 서명을 주목해서 살펴보자. 값을 구체화하기 위해서는 그 함수

를 평가할 필요가 있다. 이러한 변환이

DStream

계통의 일부임을 감안할 때 이는 각 배치 간격

에서 발생하며, 매번 새로운 값을 효과적으로 생성한다.

val materializedValues

=

stream

.

map

(

generatorFunc

=

>

generatorFunc

())

스파크 셸을 사용하는 경우 출력 작업을 사용하고

streamingContext

를 시작하여 이러한 값을

관찰할 수 있다.

materializedValues

.

print

()

//

출력

연산

ssc

.

start

-------------------------------------------

Time

:

1550491831000 ms

------------------------------------------- ...