9가지 사례로 익히는 고급 스파크 분석(2판): 현실 세계 빅데이터로 배우는 데이터 과학과 머신러닝

218

9가지 사례로 익히는 고급 스파크 분석 (2판)

API

를 더 깊이 파고들어서, 그래프엑스가 기본으로 제공하지 않는 고급 그래프 속성 몇 가지

를 계산하는 방법을 보여주고자 한다.

웹 등의 컴퓨터 네트워크와 페이스북이나 트위터 같은 소셜 네트워크의 등장으로 데이터 과학

자는 (전통적으로 수학자나 그래프 이론 연구자가 다루던 이상적인 네트워크와 비교해 ) 현실

의 네트워크 구조와 그 형성을 설명할 수 있는 풍부한 데이터셋을 얻게 되었다. 이런 현실 네

트워크의 특징을 묘사하고 이상적인 모델과 어떻게 다른지를 설명한 최초의 논문 중 하나는

1998

년에 던컨 와츠

Duncan

Watts

와 스티븐 스트로가츠

Steven

Strogatz

가 쓴 「‘작은 세상’ 네트워크의 집

합적 동역학

Collective

Dynamics

of

‘

Small

-

world

’

Networks

」(

https

://

goo

.

gl

/

Dn3JI9

)이다. 이 논문은 현실 그

래프에서 확인할 수 있는 두 개의 ‘작은 세상’ 특징을 지닌 그래프를 어떻게 만드는지를 설명하

는 첫 번째 수학 모델의 윤곽이 되는 독창적인 논문이다.

●

네트워크의 노드 대부분은 차수가 작고, 다른 노드들과 함께 상대적으로 밀도가 높은 군집에 속해 있다. 즉, 한

노드의 이웃들은 그들끼리도 서로 연결되어 있을 확률이 높다.

●

그래프에서 노드 대부분이 차수가 낮고 밀집된 군집을 이루고 있음에도, 한 노드에서 다른 노드로 전이하는

데 소수의 변을 통과해 상대적으로 빠르게 도달할 수 있다.

와츠와 스트로가츠는 이들 ...