9가지 사례로 익히는 고급 스파크 분석(2판): 현실 세계 빅데이터로 배우는 데이터 과학과 머신러닝

72

9가지 사례로 익히는 고급 스파크 분석 (2판)

보면, 추천 엔진은 우리가 좋아하리라 생각하지도 못한 음악을 찾아내는 놀라운 일을 해낸다.

추천 엔진이 널리 사용되는 음악과 영화 분야에서는 추천된 목록이 누군가 과거에 접해본 콘텐

츠와 왜 잘 들어맞는지를 추리해내기가 상대적으로 쉽다. 하지만 모든 군집화

Clustering

1

나 분류

Classification

알고리즘이 설명하기 쉬운 건 아니다. 예컨대 서포트 벡터 머신

Support

Vector

Machine

분류

기는 계수들의 집합으로 구성되는데, 예측은 하더라도 그 계수들의 의미를 설명하기란 전문가

조차도 쉽지 않다.

그래서 앞으로

3

개 장에 걸쳐서 스파크의 핵심 머신러닝 알고리즘을 다뤄보려 한다. 그중 처음

인 이번 장은 음악에 특화된 추천 엔진을 들여다보겠다. 이는 스파크와

MLlib

을 실제 세상의

문제에 적용하는 방식을 소개하고, 이어지는 장에서 더 깊게 파헤칠 머신러닝 알고리즘의 기본

을 소개하는 적절한 방법일 것이다.

3.1

데이터셋

이 장의 예제에서는 오디오스크로블러

Audioscrobbler

에서 공개한 데이터셋을 사용한다. 오디오스

크로블러는

2002

년에 초기 인터넷 스트리밍 라디오 서비스를 제공한

last

.

fm

(

http

://

www

.

last

.

fm

)을 위해서 만들어진 첫 번째 음악 추천 시스템이다. ...