Spark快速大数据分析（第2版）

Apache Spark

的结构化数据

API

｜

59

DataFrame API

也提供了

collect()

方法，但对于特别大的

DataFrame

，这个

方法会非常耗费资源，而且很危险，因为有可能会导致内存不足。与

count()

不 同（

count()

只会将一个数值返回到驱动器），

collect()

会返回整个

DataFrame

或

Dataset

中所有的

Row

对象。如果你想拿几个

Row

对象来看一下，

最好使用

take(

n

)

方法，这个方法只会返回

DataFrame

的前

n

个

Row

对象。

其他常用的

DataFrame

操作

　与已经介绍的其他所有操作一样，

DataFrame

API

提供了描

述型的统计方法，比如

min()

、

max()

、

sum()

和

avg()

。我们可以通过一些例子来展示如何

针对旧金山消防部门数据集使用这些方法进行计算。

这次我们计算数据集的所有记录中警报的总数、平均响应时间、最短响应时间和最长响应

时间。引入

PySpark

的函数时修改了引用名，这是为了避免和内建的

Python

函数冲突。

# Python代码

import pyspark.sql.functions as F

(fire_ts_df

.select(F.sum("NumAlarms"), F.avg("ResponseDelayedinMins"),

F.min("ResponseDelayedinMins"), F.max("ResponseDelayedinMins"))

.show())

// Scala代码

import ...