9가지 사례로 익히는 고급 스파크 분석(2판): 현실 세계 빅데이터로 배우는 데이터 과학과 머신러닝

30

9가지 사례로 익히는 고급 스파크 분석 (2판)

뢰도는 더 커지게 된다.

데이터 과학자에게 데이터 품질 관리에 신경 쓰라고 하다니, 물론 말은 쉽다. 아이들에게 채소

를 먹으라고 이야기하는 것처럼 말이다. 하지만 스파크와 같은 새로운 도구를 써보는 일이 훨

씬 재미있다. 스파크로는 멋진 머신러닝 알고리즘을 만들어보거나, 스트리밍 데이터를 처리하

는 엔진을 개발한다거나 복잡하게 연결된 그래프를 분석하는 등의 일을 해볼 수 있으니 말이

다. 그래서 스파크와 스칼라를 활용하여 데이터를 정제하는 예를 직접 보여주는 것으로부터 시

작하려고 한다.

2.1

데이터 과학자를 위한 스칼라

데이터 과학자 대부분은 데이터를 조작하고 분석할 때

R

이나 파이썬과 같은, 자신에게 가장

능숙한 특정 도구를 선호한다. 어쩔 수 없이 다른 환경에서 일하게 되더라도 선호하는 도구

에 집착하며 그 도구를 사용할 수 있는 방법을 찾아 헤매곤 한다. 새로운 문법과 새로운 패

턴을 습득해야 하는 새로운 도구를 도입하는 것은 최선의 상황에서도 꽤 힘든 도전적인 일

이다.

스파크에는

R

이나 파이썬으로 코드를 작성할 수 있는 라이브러리와 래퍼

Wrapper

가 있다. 그중

파이스파크

PySpark

라는 훌륭한 파이썬 래퍼는 이 책의

11

장에서도 일부 다루고 있다. 하지만 대

부분의 예제는 스칼라로 제공할 것이다. 스파크 자체가 스칼라 언어로 구현되어 있어서, 스칼

라를 직접 사용하면 다음과 같은 효과를 기대할 수 있다.

성능 면에서 유리하다.

스칼라처럼

JVM

에서 동작하는 언어 위에서

R

이나