Presto实战

Presto

的架构

｜

53

示例

4-5

　

局部预聚合可以显著提高性能

...

- Aggregate[by nationkey...; orders_sum := sum(totalprice)]

- InnerJoin[c.custkey = o.custkey]

- InnerJoin[n.nationkey = c.nationkey]

- TableScan[nation]

- TableScan[customer]

- Aggregate[by custkey; totalprice := sum(totalprice)]

- TableScan[orders]

...

为了提高并行性，这类预聚合采用所谓

局部聚合

（

partial aggregation

）来实现。这里只显

示了简化的查询计划，如果你实际运行

EXPLAIN

命令查看查询计划，得到的结果会与这里

显示的不同。

示例

4-5

中显示的预聚合并不一定总能提高性能。如果局部聚合不能减少数

据量，则其将对查询性能有害。因此，此优化规则目前是默认禁用的，你可

以使用

push_partial_aggregation_through_join

会话选项来激活它。默认情

况下，

Presto

将局部聚合放置在

Join

之上以减少

Presto

节点之间通过网络传

输的数据量。要充分利用局部聚合，我们可能需要考虑非简化的查询计划。

4.10

　实现规则

目前，我们所讨论的都是优化规则，它们的目的是缩短查询处理时间、降低查询内存消耗

和减少通过网络传输的数据量。然而，即使在我们的示例查询中 ...