스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

136

2

부

구조적 스트리밍

Once

()

스트리밍 잡을 한 번 실행할 수 있는 특정 트리거다. 테스트에 유용하며 정의된 스트리밍 잡

을 단일 샷 배치 작업으로 적용할 수도 있다.

Continuous

(

<

checkpoint

-

interval

>

)

이 트리거는 짧은 지연 시간 처리를 위해 실행 엔진을 실험용의

continuous

엔진으로 전환

한다.

checkpoint

-

interval

파라미터는 데이터 복원력에 대한 비동기 체크포인트 빈도를

나타낸다.

ProcessingTime

트리거의 배치 간격

batch

interval

과 혼동해서는 안 된다. 이 새로

운 실행 옵션은

15

장에서 살펴볼 것이다.

8.4.7

start

()

스트리밍 연산을 구체화하려면 스트리밍 프로세스를 시작해야 한다. 마지막으로

start

()

는

전체 잡 설명을 스트리밍 연산으로 구체화하고 내부 스케줄링 프로세스를 시작하여 소스에서 데

이터를 소비하고 처리하여 싱크로 생성한다.

start

()

는 각 쿼리의 개별 수명 주기를 관리하는

핸들인 스트리밍 쿼리

Streaming

Query

객체를 반환한다. 이는 동일한

sparkSession

내에서 서로

독립적으로 여러 쿼리를 동시에 시작하고 중지할 수 있음을 의미한다.

8.5

요약

이 장을 읽은 후에는 구조적 스트리밍 프로그래밍 모델 및

API

를 잘 이해할 수 있어야 한다. 이

장에서는 다음을 배웠다.

●

각 스트리밍 프로그램은 소스와 현재 사용 가능한 소스를 정의함으로써 시작한다.

●

스트리밍 데이터 변환에 대부분의 데이터셋과 데이터프레임 ...