数据分析之图算法: 基于Spark和Neo4j

26

｜

第

3

章

•

分析结果与事务性工作负载集成。

•

结果用于增强已有的图。

•

团队需要集成基于图的可视化工具。

•

团队希望采用预打包和提供支持的算法。

此外，有些组织兼用

Spark

和

Neo4j

进行图处理：将

Spark

用于大规模数据集的高层筛选

与预处理以及数据集成，将

Neo4j

用于特定处理并且与基于图的应用集成。

3.2.2

　

Apache Spark

Spark

是用于大规模数据处理的图计算引擎。它使用一种名为

DataFrame

的抽象表来表示

和处理以行列（列要指定名称和类型）方式组织的数据。该平台集成了多种数据源，支持

Scala

、

Python

和

R

等语言。

Spark

支持多种分析库，如图

3-1

所示。它具备基于内存的系

统，在运行时采用高效分布式计算图。

图 3-1：Spark 是一个开源的分布式通用集群计算框架，包含适用于各种工作负载的模块

GraphFrames

是

Spark

的一个图处理库，于

2016

年替代

GraphX

，但是它与核心

Spark

是分

离的。

GraphFrames

基于

GraphX

，但是使用

DataFrame

作为底层数据结构。

GraphFrames

支持

Java

、

Scala

和

Python

等编程语言。

2019

年春，提案“

Spark Graph: Property Graphs,

Cypher Queries, and Algorithms

”被接受（参见本章“

Spark Graph

的发展”部分的说明）。

我们希望使用

DataFrame

框架和

Cypher

查询语言，将许多图功能引入核心