AI를 위한 필수 수학

145

Chapter 3 -

데이터에 함수를 최적화시키는 방법

다음으로 다른 피처의 정보를 활용하여 결과 피처의 엔트로피 차이를 계산한다. 보통 정보가

늘어나면 놀라움은 줄어들기 때문에 결과 피처의 엔트로피는 감소할 것으로 예상된다.

피처

A

를 의사 결정 트리의 분할 노드로 선택했다고 가정하자. 피처

A

는

4

개의 값을 가지며

value

1

이라는 값을 가진

k

1

개의 인스턴스가 있다. 이 중

p

1

은 양의 클래스로 레이블이 지정되

고

n

1

은 음의 클래스로 레이블이 지정되므로

p

1

+

n

1

=

k

1

이 된다고 가정한다. 마찬가지로 피

처

A

에는

value

2

라는 값을 가진

k

2

개의 인스턴스가 있으며, 이 중

p

2

는 양의 클래스로 레이블

이 지정되고

n

2

는 음의 클래스로 레이블이 지정되므로

p

2

+

n

2

=

k

2

가 된다. 피처

A

의

value

3

,

value

4

도 동일하게 적용된다. 따라서 데이터셋 전체에 포함되어 있는 인스턴스 수는

k

1

+

k

2

+

k

3

+

k

4

=

m

이다.

피처

A

의 각 값

value

k

를

p

k

개의 양의 클래스와

n

k

개의 음의 클래스를 가진 독립적인 확률 변수

로 생각할 수 있으므로 각 엔트로피 (놀라움의 기대값 )를 계산할 수 있다.

log

log log

log log

log log

log

pn

p

pn pn

n

entropy value

pn

p

pn

p

pn

n

pn

n

entropy ...