스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

437

28

장

실시간 머신러닝

의사 결정 트리의 스파크 구현은

ID3

iterative

dichotomizer

3

알고리즘 (반복이진분류법 )

4

과 정보

획득에 의존한다.

TIP

의사 결정 트리 분류기는 머신러닝에서 잘 알려진 의사결정 알고리즘이다.

Hoeffding

트리는 확률 이론에 기

반을 둔 의사 결정 트리의 스트리밍 확장이다.

의사 결정 트리에 익숙하지 않은 경우 광범위한 처리를 제공하는 『

9

가지 사례로 익히는 고급 스파크 분석,

2

판』 (한빛미디어,

2018

)을 살펴보는 것이 좋다.

이러한 학습자는 모든 학습 예를 사용하여 각 분할에서 최상의 속성을 선택하는데, 이는 전체 학

습 프로세스 동안 모든 예를 사용할 수 있어야 하는 정책이다. 이로 인해 이러한 고전적인 의사

결정 트리 학습 절차 배치 알고리즘은 데이터가 작은 증분으로만 제공되는 스트리밍 컨텍스트에

적용할 수 없게 만든다.

28.3

Hoeffding

트리

호에프딩

Hoeffding

트리

5

는 이 문제를 해결하고, 이전에 본 모든 데이터를 메모리에 저장할 필요

없이 빡빡한 시간과 메모리 제약 내에서 스트리밍 데이터로부터 학습할 수 있다. 주어진 노드에

서 분할 속성을 선택할 때 데이터의 작은 샘플만 사용하는 것으로 수학적으로 충분하다는 점을

언급함으로써 이를 수행한다. 따라서 데이터 스트림에 도착하는 ...