April 2021
Beginner to intermediate
472 pages
9h 23m
Korean
Content preview from 스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
Start your free trial
169
10
장
구조적 스트리밍 소스
.
option
("
port
",
9876
)
.
option
("
includeTimestamp
",
true
)
.
load
()
18
/
04
/
14 17
:
06
:
47 WARN TextSocketSourceProvider
:
The socket source should not be used for production applications
!
It does not support recovery
.
stream
:
org
.
apache
.
spark
.
sql
.
DataFrame
=
[
value
:
string
,
timestamp
:
timestamp
]
10.5.2
작동
소켓 소스는 구성에 지정된
TCP
서버에 연결하는
TCP
클라이언트를 생성한다. 이 클라이언트
는 스파크 드라이버에서 실행된다. 쿼리가 소비하고 해당 오프셋이 커밋될 때까지 들어오는 데
이터를 메모리에 유지한다. 커밋된 오프셋의 데이터가 제거되어 정상적인 상황에서 메모리 사용
이 안정적으로 유지된다.
10
.
1
절 ‘소스의 이해’에서 설명한 내용을 상기해보면 스트리밍 프로세스의 실패 및 재시작시에
도 커밋되지 않은 오프셋을 재생할 수 있는 경우 소스는 신뢰할 수 있는 것으로 간주된다. 스파
크 드라이버의 실패는 메모리의 커밋되지 않은 모든 데이터를 잃게 하기 때문에 이 소스는 신뢰
할 수 있는 것으로 간주되지