스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

300

3

부

스파크 스트리밍

이는 또한 해당 직접 스트림의 익스큐터가 오프셋을 커밋하여 특정 오프셋에 대한 데이터 수신

을 인정하기 때문에 내결함성에도 더욱 효율적이다. 실패가 발생할 경우 새 익스큐터는 알려진

최신 커밋 오프셋에서 파티션 데이터를 선택한다. 이 동작은 출력 연산자가 이미 본 데이터 재생

을 계속 제공할 수 있기 때문에 적어도 한 번에 데이터 전달 시맨틱을 보장한다. 의미를 효과적

으로 정확히 한 번만 달성하려면 출력 연산이 멱등이어야 한다. 즉, 조작을 두 번 이상 실행하면

조작을 한 번 실행하는 것과 동일한 결과가 발생한다. 예를 들어 고유한 기본 키를 사용하여 데

이터베이스에 레코드를 작성하면 레코드가 삽입될 때 하나의 인스턴스만 찾을 수 있다.

19.7

더 많은 소스를 찾을 수 있는 곳

스파크 코드베이스의 일부로서 생애를 시작한 몇 가지 소스와 일부 추가적인 컨트리뷰션

contribution

(기여 )은 아파치 스파크와 아파치 플링크 확장을 위한 엄브렐라

umbrella

저장소 역할

을 하는 프로젝트인 아파치 바히르로 옮겨졌다.

이러한 확장 중에서 다음과 같은 일련의 스파크 스트리밍 커넥터를 찾을 수 있다.

Apache

CouchDB

/

Cloudant

NoSQL

데이터베이스

Akka

행위자 시스템 구글 클라우드

Pub

/

Sub

: 구글 소유의 클라우드 기반

pub

/

sub

시스템

MQTT

가벼운 머신

-

투

-

머신/사물인터넷 (

IoT

)

pub

/

sub

프로토콜

Twitter

인기 있는 소셜 네트워크의 트윗을 구독하는 소스

ZeroMQ

비동기 메시징 ...