밑바닥부터 시작하는 데이터 과학 데이터 분석을 위한 파이썬 프로그래밍과 수학·통계 기초

from Scratch

151

󽴜󽴔󺠿󻱃󼗿󽴔󼅧󺹻

else:

data.append(maybe

_

stock)

그리고 유효하지 않은 데이터를 어떻게 처리할지 결정하면 된다. 나쁜 데이터를

처리하는 방법은 크게 세 가지다. 나쁜 데이터를 제거하거나, 직접 수정하거나,

나쁜 데이터가 없기를 기도하는 방법이다. 만약 백만 개의 행 중 나쁜 데이터가

한 개라면 아마 무시해도 괜찮을 것이다. 하지만 행 절반이 나쁜 데이터라면 반

드시 해결해야 하는 문제다.

데이터 정제가 끝났다면 다음 단계로

10

.

1

절 ‘데이터 탐색하기’를 통해 이상치

가 있는지 확인해 봐야 한다. 예를 들어 주가 파일 안에 연도가

3014

년인 데이터

가 포함되어 있다는 것을 발견했는가? 아무런 오류 없이 코드는 실행되겠지만,

잘못된 데이터를 수정하지 않으면 이상한 결과가 나올 것이다. 실제 데이터에

서는 소수점이 생략되거나,

0

이 추가되거나, 오타가 존재하는 등 수많은 문제점

이 존재할 것이며, 이를 잡아내는 것 또한 데이터 과학자들의 임무다. 물론 따져

보면 우리의 책임은 아니지만, 우리가 아니라면 누가 이러한 문제점을 잡아내겠

는가?

10.5

데이터 처리

데이터 과학자에게 가장 중요한 기술 중 하나는 데이터를 처리하는 기술이다.

데이터 처리는 구체적인 방법론이 있다기보다는 일종의 기술이므로, 여러 예시