Spark快速大数据分析（第2版）

130

｜

第

5

章

5.5.1

　联合

在

Spark

中，将两个具有相同表结构的

DataFrame

联合起来是很常见的操作。这可以通过

union()

方法

8

实现。

// Scala代码

// 联合两张表

val

bar = delays.union(foo)

bar.createOrReplaceTempView("bar")

bar.filter(expr("""origin == 'SEA' AND destination == 'SFO'

AND date LIKE '01010%' AND delay > 0""")).show()

# Python代码

# 联合两张表

bar = departureDelays.union(foo)

bar.createOrReplaceTempView("bar")

# 展示联合结果（筛选出特定时间段内从SEA到SFO的记录）

bar.filter(expr("""origin == 'SEA' AND destination == 'SFO'

AND date LIKE '01010%' AND delay > 0""")).show()

DataFrame

bar

是

foo

与

delays

联合的结果。对

bar

使用与计算

foo

时同样的过滤条件，

所得结果与

foo

一样，这符合预期。

-- SQL查询

spark.

sql

("""

SELECT *

FROM bar

WHERE origin = 'SEA'

AND destination = 'SFO' ...