스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

441

28

장

실시간 머신러닝

Instance

클래스 계층 구조의 맨 위에 있는 래퍼라는 것을 기억하자. 여기에는 입력 인스턴스

및 출력 인스턴스에 대한 참조가 포함되며 기능 및 레이블에 대한 세터 및 게터를 제공한다.

28.4

온라인

K

-

평균을 사용한 스트리밍 클러스터링

머신러닝에서 클러스터링은 해당 지점 간의 유사성 개념이 주어지면 비지도 방식으로 집합의

요소를 그룹화하는 관행이다. 가장 유명한 클러스터링 알고리즘은

K

-

평균

K

-

means

이며, 이 절

에서는

K

-

평균의 온라인 적응을 연구한다. 이 절의 나머지 부분에서는 비지도 알고리즘을 스

트리밍 컨텍스트에 적용하는 방법을 보여줄 것이다.

28.4.1

K

-

평균 클러스터링

K

-

평균 클러스터링은 메트릭 공간의 데이터 포인트를 특별히

k

개의 클러스터로 그룹화하기 위

한 파라미터, 비지도 알고리즘이며, 여기서

k

는 미리 정의된 정수다. 클러스터는 각각 중심이

할당된 데이터 포인트의 무게 중심

barycenter

7

이라는 속성을 가진 센트로이드

centroid

(이 메트릭

공간의 한 지점 )를 통해 식별된다.

그것은 한편으로는 중심에 포인트를 부착하고 다른 한편으로는 중심 위치를 변경하는 여러 시기

를 거치면서 작동한다. 첫 번째 단계에서 각 데이터 포인트는 가장 가까운 중심과 연결되며 특정

중심과 연결된 데이터 포인트 집합이 ...