스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

스파크 스트리밍

Part

III

3

부에서는 스파크 스트리밍을 살펴볼 것이다.

스파크 스트리밍은 아파치 스파크에서 제공하는 최초의 스트리밍

API

이며 현재 전 세계 많은 회사의 운영환

경에서 사용된다. 핵심 스파크 추상화를 기반으로 강력하고 확장 가능한 함수적인

API

를 제공한다.

3

부를 진

행하면서 강력한 스파크 스트리밍 애플리케이션의 프로그래밍과 실행에 관련된 다양한 측면을 살펴본다.

●

이산 스트림 (

DStream

) 추상화 이해

●

API

와 프로그래밍 모델을 이용한 애플리케이션 만들기

●

스트리밍 소스와 출력 작업

output

operation

을 사용한 데이터 소비와 생산

●

SparkSQL

과 다른 라이브러리를 스트리밍 애플리케이션에 결합

●

내결함성 특성의 이해와 강력한 애플리케이션을 만드는 방법

●

스트리밍 애플리케이션 모니터링과 관리

3

부가 끝나면 스파크 스트리밍을 사용하여 스트림 처리 애플리케이션을 설계, 구현 및 실행하는 데 필요한 지

식을 얻게 된다. 또한 스트림 처리와 온라인 머신러닝을 위한 확률론적 데이터 구조의 적용과 같은 좀 더 발전

된 주제를 다루는

4

부를 시작할 준비도 된다.

Part

III

스파크 스트리밍

16

장 스파크 스트리밍 소개

17

장 스파크 스트리밍 프로그래밍 모델

18

장 스파크 스트밍 실행 모델

19

장 스파크 스트리밍 ...