大数据项目管理：从规划到实现

分布式存储系统

｜

85

选择一致性还是可用性通常取决于实际情况。不过，有时候也会由选择的存储系统决定。

例如，

HBase

就选择了一致性，而

Cassandra

选择了可用性。不过，

Cassandra

还是为一致

性模型提供了一些控制机制。

5.1.6

　主要用例

最后一个需要考虑的问题是存储系统的主要使用模式。我们可以在多个用例中使用一种存

储系统，但有些系统针对一小组使用模式进行了高度优化，如果使用不当，就会导致失

败。在介绍不同用例的过程中，将会说明哪些系统适用于哪些用例，并在介绍每个系统时

提供更多的上下文信息。

1.

大型扫描

这类用例要求对数据进行大型扫描，例如按照日期或其他大型分区边界对数据进行分区，

但分区中的记录不少于

100

万条。这类用例主要包括查询很大的记录块、机器学习、图处

理和窗口操作。对于这些用例，通常会使用基于文件的存储系统（例如

HDFS

）或对象存

储系统。

2.

随机数据访问

这类用例要求快速访问一条或多条记录，或者在大约一毫秒内更新记录，而不是扫描很

大的数据块。为此，需要一个高度可变和支持索引的系统。像

HBase

或

Cassandra

这样的

NoSQL

系统通常最适合这类用例。

3.

数据立方体

这类用例要求进行大量的深度分析。在这个模型中，需要对数据进行高度优化，以支持从

多个角度查询数据。基于

Lucene

的系统（如

Elasticsearch

和

Solr

）可以作为这类用例的解

决方案。

4.

时间序列

在物联网应用程序中，需要存储和访问大量与时间相关的事件。为此，我们需要一个优化

过排序的存储系统。对于这类应用程序 ...