
MapReduce
|
129
JobTracker
應該監聽哪個
RPC
通訊。對用戶端而言,這個參數提供了一個方式,
快速識別應該連線到哪台主機,好與
MapReduce
框架互動。
mapred.job.tracker
的預設值是一個特殊字串「
local
」,代表用戶端須運行於所
謂的
本機模式
(
local mode
)。本機模式中,用戶端執行整個
MapReduce
框架於
用戶端自身的
VM
中,儘管是單一個執行緒。這在開發與除錯階段相當有用,且
不支援任何
Hadoop
的平行化與容錯性(
fault tolerance
)。此外,當運作於本機
模式時,用戶端不會使用
HDFS
。相反地,所以檔案系統操作是針對本機檔案系
統;等同於將
fs.default.name
設成
file:///
。由於預設值是特殊字串「
local
」,
因此沒有指定任何有意義的連線埠。用於
mapred.job.tracker
現存標準的連線埠
是
8021
,或者比
namenode
的連線埠大一位。當然系統管理者可以自由指定任意
的設定值,避開多數參考資料所用的連線埠。
範例設定值:
hadoop01.sf.cloudera.com:8021
。使用於:
JT
、
TT
、用戶端。
mapred.local.dir
如第三章提過,在
MapReduce
任務中的
map
工作,使用主機的本機硬碟來存放中
間產物(
intermediate output
)。所使用的目錄就是用
mapred.local.dir
指定。就
像
dfs.data.dir
之於
HDFS
資料節點,
mapred.loca ...