大数据项目管理：从规划到实现

130

｜

第

8

章

•

实现作业有难度

实现

MapReduce

作业的主要方式是

Java

应用程序，所以这对非程序员来说是一

个障碍。此外，如何将问题映射为

MapReduce

作业也很具挑战性。虽然抽象为

MapReduce

提供了更直观的接口，但一般来说，使用

MapReduce

作为处理引擎要

求开发人员具备丰富的知识和经验。

•

重量级部署模型

在部署

MapReduce

作业时，通常需要将大型的

Java Archive

（

JAR

）文件传输到集

群节点上。

虽然未来可能不会看到

MapReduce

被用于实现新的处理作业，但在分布式计算中，

mapper

、

shuffle

和

reducer

的模式仍然会反复出现。

MapReduce

曾经非常强大，因为它是当时为数不多可用的分布式执行系统。但由于上述原

因，它用起来十分麻烦。这比试图在传统关系数据库上实现

SQL

要复杂得多。

当时，

Apache Hive

是针对这些问题的一个解决方案，它提供了

MapReduce

的

SQL

抽象，

并支持基于

MapReduce

创建

DAG

。虽然

Hive

很慢，而且不适用于交互式查询，但它仍然

广泛流行，因为它让

SQL

开发人员也能利用

MapReduce

的强大功能。

2.

内部

DAG

管理

MapReduce

正逐渐被现代处理引擎所取代，如

Apache Spark

和

Apache Flink

。这些工具都

有一个支持创建

DAG

的执行引擎。这种对

DAG

的支持有助于高效实现复杂的处理作业。

甚至是最初作为

MapReduce

抽象的

Hive

也支持能够创建更复杂的

DAG

的引擎，例如

Apache ...