大数据项目管理：从规划到实现

分布式存储系统

｜

95

5.2.6

　新进者

：

Apache Kudu

和

CockroachDB

在开源的企业数据世界里，并不是每天都会有新想法出现并大获成功。本节将讨论两个相

对较新的解决方案：

Apache Kudu

和

CockroachDB

。

1. Kudu

Kudu

是一个

Spanner

风格的系统，源于

Cloudera

。它受到

Parquet

的最初承诺和列式文件

格式的启发，看起来就像是

HBase

和

Parquet

的孩子。

Kudu

具备了接近

HDFS

的扫描速度

和

NoSQL

的可变性。不过，它在数据扫描方面不太可能比

HDFS

更快，也不会像

NoSQL

那样修改数据或访问单条记录。

它的底层存储使用了列式格式，这有助于数据扫描，但要以

PUT

和

GET

的性能为代价。

因为列式格式需要在不同的文件或位置写入每一列——对于

Kudu

来说，需要写入到不同

的文件。这意味着如果有

100

列，那么在使用

GET

获取一条记录时需要查找

100

次磁盘。

如果在机械式硬盘上执行这样的操作，那么执行最基本的

PUT

和

GET

需要花费很长的时

间。因此，在使用

Kudu

时，建议使用固态硬盘。

由于存在这些限制，

Kudu

主要适用于需要几近实时修改数据的场景。本书不会具体地讨

论

Kudu

，但会提到适合扫描的数据表，比如

HDFS

、

S3

或

Kudu

的数据表。

2. CockroachDB

CockroachDB

这个名字可能是所有存储平台中最奇怪的一个。蟑螂（

cockroach

）很难被杀

死，

CockroachDB

就是借鉴了这个寓意。可以将

CockroachDB

视为

Impala ...