9가지 사례로 익히는 고급 스파크 분석(2판): 현실 세계 빅데이터로 배우는 데이터 과학과 머신러닝

104

9가지 사례로 익히는 고급 스파크 분석 (2판)

4.3

학습 예제

예측을 수행하려면 먼저 학습 알고리즘을 데이터로 학습시켜야 한다. 이를 위해 과거 데이터

로부터 얻은 많은 수의 입력 데이터와 그 각각에 대응하는 정확한 출력 데이터가 필요하다. 다

시 오늘의 날씨를 예로 들자면, 어느 날 기온은 최저

12

도, 최고

16

도이며, 습도는

10

%에 날씨

는 맑고, 아무도 한파를 예상하지 않았다는 그 날의 날씨 정보가 입력 데이터가 되고, 다음 날

의 최고 기온인

17

.

2

도가 출력 데이터가 된다. 이 둘을 동시에 학습 알고리즘에 제공하는 형태

로 학습이 이뤄진다. 이러한 예제 데이터가 충분히 많이 있어야 다음 날의 최고 기온을 예측하

는 학습 알고리즘을 제대로 학습시킬 수 있다.

특징 벡터는 학습 알고리즘용 입력을 표현하는 체계적인 방법을 제공한다. 여기에서는 {

12

.

5

,

15

.

5

,

0

.

10

,

clear

,

0

}이 된다. 예측의 출력이나

목표

Target

또한 특징으로 간주할 수 있는데, 예

를 들어 내일 최고 기온

17

.

2

는 수치형 특징이다. 입력용 특징 벡터에 목표를 하나의 특징으로

포함시키는 것은 드문 일이 아니다. 학습을 위한 완전한 예는 목표인 다음 날의 최고 기온까지

포함한 {

12

.

5

,

15

.

5

,

0

.

10

,

clear

,

0

,

17

.

2

}로 봐야 하며, 이 예들의 집합을

학습 데이터셋

Training

Set

이라고 한다.

회귀에서는 수를, 분류에서는 범주를 대상으로 삼는다는 점을 기억하자. 모든 회귀나 분류 알

고리즘이 범주형 특징을 다루거나 ...