Skip to Main Content
Hadoop管理手冊
book

Hadoop管理手冊

by Eric Sammer
February 2014
Intermediate to advanced content levelIntermediate to advanced
312 pages
6h 28m
Chinese
GoTop Information, Inc.
Content preview from Hadoop管理手冊
192
|
第七章:資源管理
mapred.fairscheduler.sizebasedweight
這是公平排程器一個較少用,但很有趣的功能。它支援動態根據資源池的需求量
來設定權重。啟用這個功能將動態分配較多的插槽給有較多佇列工作的資源池。
換句話說,當一個資源池有許多未處理的工作時,排程器會給它較多的資源,以
協助它趕上進度。請記住,權重(
weight
)只會影響公平分享的分配,因此這只
調整了在滿足最小分享之後的資源分配(也就是說對服務層級協議沒有影響)。
預設值:
false
mapred.fairscheduler.assignmultiple
指定要全域啟用或停用在單一
TaskTracker
心跳訊號時,指派多個工作的支援(如
前面提過的)。啟用這個參數,對於短暫而互動性高的任務而言,將會看到叢集
有顯著的加速效果,從提交任務到完成的時間會縮短。
預設值:
true
mapred.fairscheduler.assignmultiple.maps
當啟用同時指派多個工作時,這個參數用來指定單一個心跳訊號要指派多少個
map
工作。將這個值設為
-1
(負一)代表
map
工作的個數沒有限制。
預設值:
-1
mapred.fairscheduler.assignmultiple.reduces
這個參數的功能跟
mapred.fairscheduler.assignmultiple.maps
相似,但是用在
reduce
工作上。
預設值:
-1
mapred.fairscheduler.weightadjuster ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

HBase管理指南

HBase管理指南

Posts & Telecom Press, Yifeng Jiang
Python应用开发指南

Python应用开发指南

Posts & Telecom Press, Ninad Sathaye
Python机器学习案例精解

Python机器学习案例精解

Posts & Telecom Press, Yuxi (Hayden) Liu
自然语言处理与计算语言学

自然语言处理与计算语言学

Posts & Telecom Press, Bhargav Srinivasa-Desikan

Publisher Resources

ISBN: 9789862769973