大数据项目管理：从规划到实现

分布式存储系统

｜

87

原始数据 追加数据 压缩数据

键 值时间 键 值时间 键 值时间

图 5-8：通过压缩修改 HDFS 文件

几乎在所有允许修改数据的系统中都能看到这种模式。但与大多数系统不同的是，

HDFS

的压缩需要手动执行，而

Cassandra

、

HBase

、

Solr

等系统会在后台自动执行压缩。另外，

与那些为修改数据而进行优化的系统不同，

HDFS

在完成整个文件的重写之前，无法显示

新修改的记录。

4.

读取路径

在很大程度上，

HDFS

是为扫描大块数据而设计的。不过，

HDFS

有一些高级的文件格式，

例如

Parquet

和

ORC

，这些格式让用户可以借助下推过滤器（

pushdown filter

）来避免读取

行和列。随机访问记录实际上是不可能的，对索引的支持也非常有限。

5.

主要用例

如果在本地存储了大量数据（

TB

、

PB

或更多），并且想执行需要访问大块数据的查询或处

理，例如机器学习或

ETL

，那么可以考虑使用

HDFS

。

此外，因为

HDFS

位于数据中心，所以让存储节点附带计算能力是一种很正常的做法。

HDFS

之所以能在很长一段时间内受到推崇，是因为可以直接在存储数据的节点上处理

数据。

5.2.2

　

S3

和对象存储系统

接下来介绍

Amazon S3

等对象存储系统。

1.

谱系

在使用

HDFS

时，关注的是数据本地性。然而，云存储的出现引发了数据本地性“大逃

离”，这主要是因为云存储使单独为存储和处理付费变得切实可行，这为优化成本和资源

88

｜

第

5

章

提供了很多选择。

Hadoop

和

HDFS

鼓励将处理和存储放在一起。图

5-9 ...