스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

119

7

장

구조적 스트리밍 소개

7.3

스트리밍 분석

앞 절에서는 역사적인

NASA

웹 로그 레코드를 살펴봤다. 이러한 레코드에서 동향 이벤트가 발

견되었지만 실제 이벤트가 발생했을 때보다는 훨씬 늦다.

스트리밍 분석의 당위성을 부여하는 한 가지 핵심 요인은 다양한 수준에서 의사결정을 내리는

데 도움이 될 수 있는 시기적절한 정보를 보유하려는 조직의 수요 증가에서 비롯된다.

배치 중심의 접근 방식을 사용하여 보관된 레코드를 탐색하는 동안 배운 노하우를 활용하여 최

신 정보를 제공하는 스트리밍 작업을 생성할 수 있다.

배치 분석에서 우리가 관찰한 첫 번째 차이점은 데이터의 출처다. 스트리밍 연습을 위해

TCP

서버를 사용하여 로그를 실시간으로 전송하는 웹 시스템을 시뮬레이션할 것이다. 시뮬레이터는

동일한 데이터셋을 사용하지만 우리가 분석할 스트림을 구체화하는

TCP

소켓 연결을 통해 공

급할 것이다.

NOTE

_

온라인 리소스

이번 예제에서는 이 책의 온라인 리소스인

weblog

_

TCP

_

server

및

streaming

_

weblogs

노트북을 사용

할 것이다. 해당 자료는

https

://

github

.

com

/

stream

-

processing

-

with

-

spark

에서 확인할 수 있다.

7.3.1

스트림에 연결하기

이 장의 소개를 떠올려 보면 구조적 스트리밍은 소스와 싱크의 개념을 ...