April 2021
Beginner to intermediate
472 pages
9h 23m
Korean
Content preview from 스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
Start your free trial
347
23
장
스파크 SQL로 작업하기
그림
23-3
enrichedRecords
데이터프레임의 샘플
이 시점에서는 레코드 수가 진화하는 것을 볼 수 있다. 스트리밍 프로세스가 데이터셋을 증가시
키는 방법을 확인하기 위해 결과 데이터셋에 카운트를 발행할 수 있다. 차이점을 관찰하기 위해
두 실행 사이에 잠시 대기하는 시간을 갖는다.
enrichedRecords
.
count
>
res33
:
Long
=
45135
//
...
몇
초
동안
기다린다
...
enrichedRecords
.
count
>
res37
:
Long
=
51167
23.4
조인 최적화
현재 솔루션에는 주요 단점이 있는데, 이는 등록되지 않은 센서에서 들어오는 데이터를 삭제
한다는 것이다. 프로세스 시작 시 참조 데이터를 한 번만 로드하기 때문에 그 순간 이후 등록한
센서는 조용히 삭제된다. 우리는 다른 종류의 조인 작업을 사용하여 이 상황을 개선할 수 있다.
foreachRDD
내에서 다른 스파크 라이브러리의 기능에 완전히 접근할 수 있다. 이 특별한 경우
348
3
부
스파크 스트리밍
에 사용하는 조인 작업은 스파크
SQL
에서 왔으며 ...