数据分析之图算法: 基于Spark和Neo4j

图平台和图处理

｜

25

3.2

　典型平台

为满足图处理需求，已经出现了几种平台。图计算引擎和图数据库通常是分离的，这就要

求用户根据其处理需求来迁移数据。



图计算引擎

图计算引擎是只读的非事务处理引擎，主要用于高效执行图的迭代分析和对整张图的查

询。图计算引擎支持图算法的各种定义和处理样式，比如节点中心式方法（如

Pregel

、

GAS

1

模型）或基于

MapReduce

的方法（如

PACT

），

Giraph

、

GraphLab

、

Graph-Engine

和

Apache Spark

属于此类引擎。



图数据库

从事务处理的背景来看，图数据库主要关注用小型查询进行快速读写，通常只涉及图的

一小部分。图数据库的优点是操作稳健性和面向多用户的高并发可伸缩性。

3.2.1

　选择平台

选择生产平台需要考虑很多因素，比如要运行的分析类型、性能需求、现有环境以及团队

偏好等。本书使用

Apache Spark

和

Neo4j

来展示图算法，因为它们都具有一些独特优势。

Apache Spark

（以下简称

Spark

）是一个横向扩展和以节点为中心的图计算引擎。其流行计

算框架和库支持数据科学的多种工作流程。

Spark

平台适用于如下场景。

•

算法本质上是可并行或可分割的。

•

算法工作流程需要在多种工具和多种语言的环境中进行“多语言”操作。

•

分析可以以批处理模式离线运行。

•

图分析针对没有转换成图格式的数据。

•

团队需要自己编写和实现算法，并且具备相关的专业知识。

•

团队使用图算法的频率不高。

•

团队更喜欢在

Hadoop

生态系统中保存所有数据和分析结果。 ...