스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

338

3

부

스파크 스트리밍

NOTE

_

2

부에서 살펴본 것처럼 구조적 스트리밍은 스파크에서 스파크

SQL

추상화를 사용하여 스트리밍

하는 기본 접근 방식이다. 이 장에서 설명하는 기법은 특정 목적을 위해 스파크

SQL

함수를 보완하려는 스파

크 스트리밍 잡이 있을 때 적용된다.

스트림 처리를 위한 순수한 스파크

SQL

접근 방식을 위해 먼저 구조적 스트리밍을 고려하도록 하자.

23.1

스파크

SQL

스파크

SQL

은 구조화된 데이터로 작동하는 스파크 모듈이다. 쿼리 분석기, 옵티마이저, 실행

플래너 등 전통적으로 데이터베이스 영역에서 발견되는 함수와 추상화를 구현해 스파크 엔진 위

에 임의로 구조화된 데이터 소스를 테이블처럼 조작할 수 있도록 한다.

이 절에서는 스파크

SQL

의 다음 세 가지 중요 기능을 소개한다.

●

데이터 작업을 나타내기 위한

SQL

쿼리 언어 사용

●

SQL

과 유사한 타입 안정적인 데이터 처리 도메인 특화 언어

domain

specific

language

(

DSL

)인 데이터셋

●

동적으로 형식화된 데이터셋에 해당되는 데이터프레임

이 장의 목적을 위해 독자가 스파크

SQL

, 데이터셋 및 데이터프레임에 익숙하다고 가정한다.

스파크 스트리밍과 스파크

SQL

을 함께 사용하면 스파크 스트리밍 잡의 맥락에서 스파크

SQL

의 중요한 데이터 랭글링

data