밑바닥부터 시작하는 데이터 과학 데이터 분석을 위한 파이썬 프로그래밍과 수학·통계 기초

Data Science

240

󻱴󽴔󽴔󻰧󻕻󺅿󻳤󺕧󻀃

S

2

는 집합 자체가 크기도 하고 엔트로피가 높다.)

수학적으로 말하자면 데이터

S

를

q

1

, ...,

q

m

의 비율을 가지는 파티션

S

1

, ...,

S

m

로 나누는 경우에 엔트로피는 다음과 같이 가중합으로 계산할 수 있다.

H = q

1

H(S

1

) + ... + q

m

H(S

m

)

이것을 코드로 작성하면 다음과 같다.

def partition

_

entropy(subsets: List[List[Any]]) -> float:

"""

주어진

데이터의

파티션

안의

엔트로피를

반환

"""

total

_

count = sum(len(subset) for subset in subsets)

return sum(data

_

entropy(subset) * len(subset) / total

_

count

for subset in subsets)

 이 접근법의 한 가지 문제는, 다양한 값을 가지는 변수를 사용해서 파티션을 나누는 경우

오버피팅이 되어 엔트로피가 낮아진다는 것이다. 예를 들어 보자. 기존 데이터를 이용해서

은행 고객 중 주택담보대출을 갚지 못할 고객을 예측하는 의사결정나무를 만들려고 한다.

데이터에 고객들의 주민등록번호가 담겨 있는 변수가 있는데, 이 변수로 파티션을 나누면

파티션당 고객이 한 명씩만 속하게 되어 엔트로피가 모두 0이 ...