April 2021
Beginner to intermediate
472 pages
9h 23m
Korean
Content preview from 스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
Start your free trial
329
22
장
임의 상태 기반 스트리밍 연산
내부상태
출력
들어오는배치
스냅샷
그림
22-2
mapWithState
에 의해 생성된 데이터 흐름
각 배치 간격마다 각각의 키와 모든 키에 대한 상태 스냅샷을 보려면
mapWithState
에 의해 생
성된 특정
DStream
의
.
snapshots
함수를 호출하자.
mapWithState
를 사용하면 이벤트가 수신될 때 스트림 요소의 계산이 시작될 수 있으며, 이상적
으로 구조적 이벤트가 수신된 직후에 완료된다. 다음 몇 페이지에서 이에 대한 예를 살펴볼 것
이다.
22.5
mapWithState
사용하기
mapWithState
는 사용자로 하여금 상태 계산 작업을 설명하는
StateSpec
객체를 제공하도록
요구한다. 이것의 핵심 부분은 당연히 주어진 키에 대해 새로운 값을 입력하여 출력을 반환할 뿐
330
3
부
스파크 스트리밍
만 아니라 이 키에 대한 상태를 업데이트하는 함수다. 실제로 이
StateSpec
의 빌더 객체는 이
함수를 의무화한다.
이
StateSpec
은 네 가지 유형으로 파라미터화된다.
●
키 타입