Skip to Main Content
Hadoop管理手冊
book

Hadoop管理手冊

by Eric Sammer
February 2014
Intermediate to advanced content levelIntermediate to advanced
312 pages
6h 28m
Chinese
GoTop Information, Inc.
Content preview from Hadoop管理手冊
MapReduce
|
129
JobTracker
應該監聽哪個
RPC
通訊。對用戶端而言,這個參數提供了一個方式,
快速識別應該連線到哪台主機,好與
MapReduce
框架互動。
mapred.job.tracker
的預設值是一個特殊字串「
local
」,代表用戶端須運行於所
謂的
本機模式
local mode
)。本機模式中,用戶端執行整個
MapReduce
框架於
用戶端自身的
VM
中,儘管是單一個執行緒。這在開發與除錯階段相當有用,且
不支援任何
Hadoop
的平行化與容錯性(
fault tolerance
)。此外,當運作於本機
模式時,用戶端不會使用
HDFS
。相反地,所以檔案系統操作是針對本機檔案系
統;等同於將
fs.default.name
設成
file:///
。由於預設值是特殊字串「
local
」,
因此沒有指定任何有意義的連線埠。用於
mapred.job.tracker
現存標準的連線埠
8021
,或者比
namenode
的連線埠大一位。當然系統管理者可以自由指定任意
的設定值,避開多數參考資料所用的連線埠。
範例設定值:
hadoop01.sf.cloudera.com:8021
。使用於:
JT
TT
、用戶端。
mapred.local.dir
如第三章提過,在
MapReduce
任務中的
map
工作,使用主機的本機硬碟來存放中
間產物(
intermediate output
)。所使用的目錄就是用
mapred.local.dir
指定。就
dfs.data.dir
之於
HDFS
資料節點,
mapred.loca ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

HBase管理指南

HBase管理指南

Posts & Telecom Press, Yifeng Jiang
Python应用开发指南

Python应用开发指南

Posts & Telecom Press, Ninad Sathaye
Python机器学习案例精解

Python机器学习案例精解

Posts & Telecom Press, Yuxi (Hayden) Liu
自然语言处理与计算语言学

自然语言处理与计算语言学

Posts & Telecom Press, Bhargav Srinivasa-Desikan

Publisher Resources

ISBN: 9789862769973