April 2021
Beginner to intermediate
472 pages
9h 23m
Korean
Content preview from 스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
Start your free trial
294
3
부
스파크 스트리밍
19.5
소켓 소스
소켓 소스는
TCP
클라이언트 역할을 하고 리시버 기반 소스로 구현되며, 리시버 프로세스가
TCP
클라이언트 연결을 인스턴스화하고 관리한다. 네트워크 위치에서 실행 중인
TCP
서버에
연결되며,
host
:
port
조합으로 식별된다.
소켓 소스는
sparkContext
의 메서드로 사용할 수 있다. 일반적인 형태는 다음과 같다.
//
ssc
는
SparkContext
의
인스턴스다
.
val stream
:
DStream
[
Type
]
=
ssc
.
socketStream
[
Type
](
hostname
,
port
,
converter
,
storageLevel
)
소켓 소스의 파라미터는 다음과 같다.
hostname
:
String
연결할 서버의 네트워크 호스트
port
:
Int
연결할 네트워크 포트
converter
: (
InputStream
) =
>
Iterator
[
Type
]
입력 스트림을 지정된 대상 타입으로 디코딩할 수 있는 함수
storageLevel
:
StorageLevel
이 소스에 의해 수신된 데이터에 사용할
StorageLevel
. 권장되는 시작점은
StorageLevel
.
MEMORY
_
AND
_
DISK
_
SER
_
2
이며 이는 다른 소스들의 공통적인 기본값이다.
UTF
-
8
문자셋을 사용하는 텍스트 스트림 인코딩을 위한 단순화된 버전도 있다. 이 ...