스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

85

4

장

스트림 처리 엔진으로서의 아파치 스파크

CAUTION

_

스칼라 언어가 제공하는 뛰어난 자바 호환성으로 인해 자바

API

의 적용 범위는 오랫동안 스칼

라와 상당히 동기화되어 왔다. 그리고 스파크

1

.

3

이전 버전에서는 파이썬이 기능적인 면에서 뒤쳐져 있었지

만 지금은 대부분 따라잡았다. 가장 최근에 추가된 것은

R

이며, 그 기능 완성도는 열정적으로 진행되고 있다.

이 다재다능한 인터페이스는 다양한 레벨과 배경을 가진 프로그래머들이 스파크로 몰려들어

자체적인 데이터 분석 요구를 구현할 수 있게 만들었다. 스파크 오픈 소스 프로젝트에 대한 기

여가 놀랍고 풍부하게 증가하고 있는 것은 연합 프레임워크 툴로서 스파크의 강점을 증명하는

것이다.

그럼에도 불구하고 사용자에게 가장 적합한 서비스를 제공하기 위한 스파크의 접근 방식은 선호

하는 프로그래밍 언어를 사용할 수 있도록 하는 것 이상을 제공하고 있다.

4.6

데이터 분석의 빠른 구현

스트리밍 데이터 분석 파이프라인을 개발할 때 스파크의 장점은 스칼라에서 간결하고 높은 수

준의

API

를 제공하고 자바와 파이썬에 호환되는

API

를 제공하는 것 이상이다. 또한 개발 과정

전반에 걸쳐 실용적인 지름길로서 스파크의 단순한 모델을 제공한다.

스파크를 통한 구성 요소 재사용은 머신러닝과 다른 많은 분야를 위한 자바 라이브러리 ...