Presto实战

228

｜

第

12

章

的改进策略。

Presto

调度器会使用队列

50%

的空间来调度本地切片。

当

Presto

安装并放置在

HDFS

数据节点上

，或使用

RubiX

缓存（参见

11.2

节）时，适合

使用

flat

策

略。

RubiX

将分布式存储中的数据缓存在工作节点上，因此，调度本地切片会

提供更好的性能。

12.6

　网络数据交换

网络配置和设置以及与数据源的距离也是影响

Presto

集群性能的重要因素。

Presto

支持一

些网络特定的属性，使你可以修改默认值并匹配特定的使用场景。

除了提高性能以外，你有时还需要调优一些其他的网络相关问题，以使你的查询运行良

好。下面将讨论可以调优的一些常见的属性。

12.6.1

　并发性

Presto

的数据交换客户端负责请求上游任务产生的数据，它使用的默认线程数是

25

。你可

以通过设定

exchange.client-threads

属性来修改这个值。

使用更多的线程可以提高大规模和高并发配置集群的性能。这是因为在这些集群中，产生

数据的速度更快，提高用于消费数据并发性可以降低时延。记住，更多的线程也会需要更

多的内存。

12.6.2

　缓冲区大小

在数据交换时，发送方和接收方会将收发的数据放在缓冲区中。发送方和接收方的缓冲区

大小可以分别配置。

在发送方，任务将产生的数据写入缓冲区并等待下游的数据交换客户端进行请求。默认的

缓冲区大小是

32MB

，这可以通过

sink.max-buffer-size

属性调整。提高这个值可能有助

于提高大规模集群的吞吐量。

在接收方，在下游任务处理数据前，数据先放置在缓冲区中。这个缓冲区的默认大小也是 ...