
192
|
第七章:資源管理
mapred.fairscheduler.sizebasedweight
這是公平排程器一個較少用,但很有趣的功能。它支援動態根據資源池的需求量
來設定權重。啟用這個功能將動態分配較多的插槽給有較多佇列工作的資源池。
換句話說,當一個資源池有許多未處理的工作時,排程器會給它較多的資源,以
協助它趕上進度。請記住,權重(
weight
)只會影響公平分享的分配,因此這只
調整了在滿足最小分享之後的資源分配(也就是說對服務層級協議沒有影響)。
預設值:
false
mapred.fairscheduler.assignmultiple
指定要全域啟用或停用在單一
TaskTracker
心跳訊號時,指派多個工作的支援(如
前面提過的)。啟用這個參數,對於短暫而互動性高的任務而言,將會看到叢集
有顯著的加速效果,從提交任務到完成的時間會縮短。
預設值:
true
mapred.fairscheduler.assignmultiple.maps
當啟用同時指派多個工作時,這個參數用來指定單一個心跳訊號要指派多少個
map
工作。將這個值設為
-1
(負一)代表
map
工作的個數沒有限制。
預設值:
-1
mapred.fairscheduler.assignmultiple.reduces
這個參數的功能跟
mapred.fairscheduler.assignmultiple.maps
相似,但是用在
reduce
工作上。
預設值:
-1
mapred.fairscheduler.weightadjuster ...