数据分析之图算法: 基于Spark和Neo4j

123

第 7 章

图算法实战

随着对各种算法在特定数据集上的表现越来越熟悉，我们所采用的图分析方法也在不断深

入。本章将介绍几个示例，展示如何针对

Yelp

数据集和美国交通数据集做大规模图数据分

析。我们将在

Neo4j

平台上分析

Yelp

数据，包括概览数据，组合算法实现行程推荐，以及

挖掘用户数据和业务数据以供咨询。我们将在

Spark

中研究美国航空公司数据，了解交通

模式、航班延误以及各航空公司与机场的关联方式。

由于路径查找算法相对简单，因此示例主要采用下述中心性算法和社团发现算法。

•

用

PageRank

算法查找有影响力的

Yelp

评论者，然后关联他们对特定酒店的评级。

•

用中间中心性算法发现连接多个群组的评论者，然后获取他们的偏好。

•

用标签传播算法以及投影操作为相似的

Yelp

业务创建超类别。

•

用度中心性算法在美国交通数据集中快速识别机场枢纽。

•

用强连通分量算法研究美国机场的航线簇。

7.1

　使用

Neo4j

分析

Yelp

数据

Yelp

根据评论、偏好和推荐帮助人们查找当地商家。截至

2018

年底，用户在该平台上已

发表

1.8

亿多条评论。

Yelp

自

2013

年起举办了多场

Yelp

数据集挑战赛，鼓励人们探索和

研究

Yelp

的开放数据集。

第

12

届

Yelp

数据集挑战赛于

2018

年举办，其开放数据集包含以下内容。

• 700

多万条评论和提示。

• 150

多万用户和

28

万张照片。