스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

79

4

장

스트림 처리 엔진으로서의 아파치 스파크

앞 장에서는 스트리밍 데이터 플랫폼의 일반적인 아키텍처 다이어그램을 그려보고, 분산 처리

엔진으로서 스파크가 빅데이터 시스템에서 적합한 위치가 어디인지 살펴봤다.

이 아키텍처는 특히 아파치 스파크를 통한 스트림 데이터 처리에 초점을 맞추면서 인터페이스

와 나머지 에코시스템과의 연계 측면에서 무엇을 기대할 것인지에 대해 알려주었다. 스트림 처

리는 스파크 스트리밍이든 구조적 스트리밍이든 아파치 스파크의 또 다른 실행 모드

execution

mode

다.

이 장에서는 스파크를 스트림 처리 엔진으로서 돋보이게 하는 주요 기능을 살펴보자.

4.1

두

API

이야기

1

.

5

절 ‘아파치 스파크 소개’에서 언급한 것처럼 스파크는 스파크 스트리밍과 구조적 스트리밍

이라는 두 가지 다른 스트림 처리

API

를 제공한다.

스파크 스트리밍

API

와 커넥터의 집합으로, 스파크 프로그램이 일정 시간 간격으로 마이크로배치 형태로 스

트림으로부터 수집된 작은 단위의 데이터를 받고, 주어진 계산을 수행하고, 결국에는 매 간

격마다 결과를 반환한다.

스트림 처리 엔진으로서의 아파치 스파크

CHAPTER

4

80

1

부

아파치 스파크를 사용한 스트림 처리의 기본

구조적 스트리밍

SQL

쿼리 최적화 장치인 카랄리스트

Catalyst

에 구축된

API

와 커넥터 집합이다. 데이터프레 ...