
58
|
第四章:規劃一座
Hadoop
叢集
對其他程序的干擾程度比較小。這些目錄算是中等儲存量,端視在執行的
MapRedue
任務而定,通常與
DataNode
資料目錄放在同一個裝置上。
Hadoop log directory
(
Hadoop
日誌目錄)
這是所有背景程式共用的目錄,用來儲存從任務等級到工作等級的日誌資料。
Hadoop
產生的日誌量與叢集的用量成正比,愈多
MapReduce
任務意味著愈多的
日誌檔。
Hadoop pid directory
(
Hadoop pid
目錄)
這是所有背景程式用來存放
pid
(程序識別碼)檔案的目錄。這些資料很小,而且
不會變大。
Hadoop temp directory
(
Hadoop
暫存目錄)
Hadoop
使用一個暫存目錄供存放有時它必須產生的短期小檔案。暫存目錄最常用
在提交
MapReduce
任務的機器上,裡面包含該
JAR
檔的副本,最終會送給
JobTracker
。預設路徑是
/tmp/hadoop-
<${user.name}>
,大多數系統管理者不會去
修改它。
軟體
Hadoop
有一些額外的軟體套件需求。最重要的相依軟體是
Java
開發工具集(
Java
Development Kit
,
JDK
)。
Hadoop
內部使用了許多在
Java 6
才引入的新功能,例如泛
型(
generics
)跟平行工具(
concurrency utilities
)。
Hadoop
已經對每一個
JDK
所測
試過的臭蟲進行處理。截至目前為止,
Oracle
(以前是昇陽)
HotSpot JVM ...