스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

193

11

장

구조적 스트리밍 싱크

0

,

1

,

1528043018

,

6

0

,

1

,

1528043018

,

7

0

,

1

,

1528043018

,

8

0

,

1

,

1528043018

,

9

0

,

1

,

1528043018

,

10

0

,

1

,

1528043018

,

11

7

,

1

,

1528043019

,

87

7

,

1

,

1528043019

,

88

7

,

1

,

1528043019

,

89

7

,

1

,

1528043019

,

90

7

,

1

,

1528043019

,

91

7

,

1

,

1528043019

,

92

출력에서 첫 번째 열은

partition

이고 두 번째 열은

version

이며 레이트 소스에서 생성된 데

이터가 이어진다. 이 예에서는

partition

0

과 같이 파티션 내에서 데이터가 정렬되지만 서로

다른 파티션 간에 순서가 보장되지 않는 것이 흥미로운 점이다. 파티션은 클러스터의 다른 시

스템에서 병렬로 처리된다. 어느 것이 먼저 오는지는 보장할 수 없다.

마지막으로 쿼리 실행을 끝내기 위해

stop

메서드인

queryExecution

.

stop

( )

을 호출한다.

queryExecution

.

stop

()

11.7.3

이 예제의 교훈

이번 예제에서는 최소한의

socket

클라이언트를 올바르게 사용하여

foreach

싱크와 함께 스

트리밍 쿼리 데이터를 출력하는 방법을 살펴보았다. 소켓 통신은 대부분의 데이터베이스 ...