April 2021
Beginner to intermediate
472 pages
9h 23m
Korean
Content preview from 스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
Start your free trial
262
3
부
스파크 스트리밍
애플리케이션의 수명 주기를 관리할 수도 있다. 이러한 작업은 반복 스트리밍 마이크로배치 예
약, 요소 수준 변환 및 스파크 런타임 컨텍스트 간의 진정한 가교다.
이 구별을 사용하여 두 가지 광범위한 변환 그룹을 관찰할 수 있다.
요소 중심의
DStream
변환
스트림의 단일 요소에 적용하는 변환
RDD
중심의
DStream
변환
각 마이크로배치의 기본
RDD
에 적용하는 변환
이러한 일반적인 분류 외에도
DStream
API
에는 두 가지 다른 변환 클래스가 있다.
계산 변환
스트림에서 요소를 계산하기 위한 전용 작업
구조 변경 변환
DStream
의 내부 구조나 구성은 변경하지만 내용은 변경하지 않는 변환
이 장의 나머지 부분에서는 이들 변환에 대해 자세히 알아본다.
17.3
요소 중심의
DStream
변환
일반적으로
DStream
API
미러 함수의 요소 중심 변환은
RDD
API
에서도 사용 가능하여 스
파크의 배치 및 스트리밍 모드 간의 개발 경험을 통합한다.
가장 일반적으로 사용되는 변환은 다음과 같다.
NOTE
_
각 변환의 서명은 가능한 경우 서명을 보다 간결하게 만들기 위해 암시적 파라미터를 제거함으로
써 단순화되었다.
map
map
[
U
](
mapFunc
:
(
T
)
=
>
U
):
DStream
[
U
]
263
17
장
스파크 스트리밍 프로그래밍 모델
DStream