大数据项目管理：从规划到实现

76

｜

第

5

章



读取路径

如何访问系统中的数据？



可用性和一致性

在系统可用性和数据一致性方面，系统做出了哪些权衡？



用例

系统解决了哪些问题？

5.1.1

　谱系

在讨论存储系统时不一定要提到谱系，但考虑到分布式存储系统的复杂性，而且它们通常

是基于现有系统的设计原则而构建的，所以还是有必要提及它。这里讨论的大多数系统都

源于谷歌项目，比如谷歌文件系统（

GFS

）、

BigTable

、

Spanner

和谷歌搜索。

举两个具体的例子：

Cassandra

和

HBase

是基于

BigTable

构建的。这个谱系会告诉我们很

多有关这两个系统的信息，包括以下方面：

•

它们的架构组件很相似；

•

它们是键

–

值存储系统；

•

它们具有很好的可扩展性；

•

它们将排序作为在磁盘上存储和索引数据的一部分；

•

本质上，数据是不可变的，但有些模式允许修改数据；

•

它们旨在解决相似的问题（例如，快速访问数据记录），并具有相似的性能特征。

图

5-1

是当前的分布式存储系统的谱系图。各个存储系统之间的关系可能存在争议，但该

图仍然是探讨分布式存储系统谱系的一个很好的起点。另外，连接线并不代表下方的项目

就一定是上方项目的扩展，它只是表明父项目对子项目产生过重大的影响。

可以通过以下方式来看待这些项目之间的连接关系。



谷歌项目的直接后裔

其中一个例子是从

GFS

到

Hadoop

分布式文件系统（

HDFS

）的连接。这个连接表示开

源社区创建了一个基于谷歌闭源解决方案的开源项目。



受启发的项目

其中一个例子是从

Parquet

到

Kudu

的连接。

Kudu