Presto实战

生产环境中的

Presto

｜

227

借助

task.max-worker-threads

属性来增加线程数，以此提高

CPU

利用率和性能。建议

尝试慢慢增加这个值，因为将其设置得过高会带来更高的内存使用和额外的上下文切换

成本，这反而会带来负面效果。

任务的算子并发数

Join

和

Aggregation

之类的算子通过本地数据分区和并行执行算子来实现并行处理。例

如，数据先在本地根据

GROUP BY

的列进行分区，之后多个

Aggregation

算子会并行地进

行处理。这些并行操作的默认并发数是

16

，你可以通过设定

task.concurrency

属性来

调整它。如果你运行很多并发的查询，上下文切换的成本可能会导致性能下降。对于只

运行少量并发查询的集群，更高的并发数可以提高并行度并因此提高性能。

12.5

　工作节点调度

你可以通过调整某些调度相关属性的默认值来提高

Presto

集群的性能。通常有

3

个常见的

配置可以调整：

•

每个任务的切片数；

•

每个节点的切片数；

•

本地调度策略。

Presto

文档还介绍了许多其他相关属性。

12.5.1

　根据任务或节点调度切片

每个工作节点能处理的切片数量有上限，默认情况下其最大值是

100

。你可以通过

node-

scheduler.max-splits-per-node

属性调整这个值。当发现工作节点上的切片数已经达到此

限制但仍没有充分利用资源时，你可以考虑调整这个值。提高该值通常会提高性能，特别

是存在很多切片的情况下。此外，你还可以提高

node-scheduler.max-pending-splits-per- ...