Skip to Main Content
Hadoop管理手冊
book

Hadoop管理手冊

by Eric Sammer
February 2014
Intermediate to advanced content levelIntermediate to advanced
312 pages
6h 28m
Chinese
GoTop Information, Inc.
Content preview from Hadoop管理手冊
68
|
第四章:規劃一座
Hadoop
叢集
就納入
Ext3
,並且已經大量使用於商業運轉環境。它支援最大
2 TB
的單檔,當使用
4
KB
的區塊大小(
block size
)時,檔案系統的上限是
16 TB
。請注意,對
Hadoop
而言,
無需考慮檔案系統的上限,因為資料是分散寫入到叢集中不同的主機與多顆硬碟。雖
然支援多種日誌等級,不過最常見的是日誌只記錄屬性資料變化的順序寫入模式
ordered mode
)。如果您不確定所用的檔案系統是那一種,或者您非常想避開風險,
ext3
是個好選擇。
當要將裝置格式化成
ext3
,底下的參數是值得指定的:
mkfs -t ext3 -j -m 1 -O sparse_super,dir_index /dev/sdXN
參數
-t ext3
只是告訴
mkfs
應該建立一個
ext3
檔案系統,而
-j
則啟用日誌。參
-m1
是一個密技,能設定預留給超級用戶(
superuser
)的區塊比例為
1%
,而非
5%
。因為沒有
root
程序會動到資料碟,這麼做可以給我們額外
4%
的可用硬碟空間。
拿一顆
2 TB
的硬碟,就多達
82 GB
!給檔案系統的額外參數可以透過
-O
來指定。
很明確地,這裡秀出了兩個參數──
spare_super
會建立一些超級區塊(
super-block
的備份,而
dir_index
會使用二元樹(
b-tree
)來建立樹狀目錄的索引,可以加速大
型目錄的檔案查詢。這兩個參數幾乎在您挑選的
Linux
發行(
distro
)都是預設值。當
然,
/dev/sd
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

HBase管理指南

HBase管理指南

Posts & Telecom Press, Yifeng Jiang
Python应用开发指南

Python应用开发指南

Posts & Telecom Press, Ninad Sathaye
Python机器学习案例精解

Python机器学习案例精解

Posts & Telecom Press, Yuxi (Hayden) Liu
自然语言处理与计算语言学

自然语言处理与计算语言学

Posts & Telecom Press, Bhargav Srinivasa-Desikan

Publisher Resources

ISBN: 9789862769973