스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

124

2

부

구조적 스트리밍

7.3.6

데이터 탐색

생산자 측에서 로그 타임라인을 가속화하고 있다고 가정하면 몇 초 후에 다음 명령을 실행하여

[그림

7

-

1

]에 있는 첫 번째 윈도우의 결과를 볼 수 있다.

처리 시간 (몇 초 )이 어떻게 이벤트 시간 (수백분의 로그 )에서 분리되는지 확인해보자.

urlRanks

.

select

($"

request

",

$"

window

",

$"

count

").

orderBy

(

desc

("

count

"))

그림

7-1

URL

순위: 윈도우별 쿼리 결과

이벤트 시간에 대해서는

12

장에서 자세히 살펴볼 것이다.

7.4

요약

구조적 스트리밍의 첫 단계에서 스트리밍 애플리케이션 개발 과정을 살펴보았다. 프로세스의 배

치 버전으로 시작하여 데이터에 대한 이해를 얻었으며 이러한 통찰력을 사용하여 스트리밍 버전

의 잡을 만들었다. 이 과정에서 구조화된 배치와 스트리밍

API

가 얼마나 가까운지 알 수 있지만

일반적인 배치 작업이 스트리밍 컨텍스트에 적용되는 것도 관찰했다.

이번 연습을 통해 구조적 스트리밍에 대한 호기심이 커졌으면 한다. 이제 학습 과정을 시작할 준

비가 되었다.