Skip to Main Content
Hadoop管理手冊
book

Hadoop管理手冊

by Eric Sammer
February 2014
Intermediate to advanced content levelIntermediate to advanced
312 pages
6h 28m
Chinese
GoTop Information, Inc.
Content preview from Hadoop管理手冊
58
|
第四章:規劃一座
Hadoop
叢集
對其他程序的干擾程度比較小。這些目錄算是中等儲存量,端視在執行的
MapRedue
任務而定,通常與
DataNode
資料目錄放在同一個裝置上。
Hadoop log directory
Hadoop
日誌目錄)
這是所有背景程式共用的目錄,用來儲存從任務等級到工作等級的日誌資料。
Hadoop
產生的日誌量與叢集的用量成正比,愈多
MapReduce
任務意味著愈多的
日誌檔。
Hadoop pid directory
Hadoop pid
目錄)
這是所有背景程式用來存放
pid
(程序識別碼)檔案的目錄。這些資料很小,而且
不會變大。
Hadoop temp directory
Hadoop
暫存目錄)
Hadoop
使用一個暫存目錄供存放有時它必須產生的短期小檔案。暫存目錄最常用
在提交
MapReduce
任務的機器上,裡面包含該
JAR
檔的副本,最終會送給
JobTracker
。預設路徑是
/tmp/hadoop-
<${user.name}>
,大多數系統管理者不會去
修改它。
軟體
Hadoop
有一些額外的軟體套件需求。最重要的相依軟體是
Java
開發工具集(
Java
Development Kit
JDK
)。
Hadoop
內部使用了許多在
Java 6
才引入的新功能,例如泛
型(
generics
)跟平行工具(
concurrency utilities
)。
Hadoop
已經對每一個
JDK
所測
試過的臭蟲進行處理。截至目前為止,
Oracle
(以前是昇陽)
HotSpot JVM ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

HBase管理指南

HBase管理指南

Posts & Telecom Press, Yifeng Jiang
Python应用开发指南

Python应用开发指南

Posts & Telecom Press, Ninad Sathaye
Python机器学习案例精解

Python机器学习案例精解

Posts & Telecom Press, Yuxi (Hayden) Liu
自然语言处理与计算语言学

自然语言处理与计算语言学

Posts & Telecom Press, Bhargav Srinivasa-Desikan

Publisher Resources

ISBN: 9789862769973