面向MapReduce的Hadoop优化

前言

MapReduce是一个重要的并行处理模型，用于大规模、数据密集型应用，比如数据挖掘和Web索引。Hadoop作为MapReduce的一个开源实现，广泛用于支持对响应时间要求很严苛的集群计算作业。

多数 MapReduce 程序的开发是以数据分析为目的的，这通常需要花费很长的时间。许多公司正在用 Hadoop 在更大的数据集上做更高级的数据分析，当然这更加需要运行时间的保障。运行效率，尤其是MapReduce的I/O开销，仍然是需要解决的问题。经验表明，配置不当的Hadoop集群会明显降低MapReduce作业的执行性能，甚至会造成显著的性能降级。

在本书中，我们致力于解决MapReduce优化问题：怎样识别系统的短板，怎样做才能充分利用 Hadoop集群资源更好地处理输入数据。本书先介绍MapReduce内部工作原理，并讨论可能影响性能的因素，之后研究Hadoop性能指标（metrics）与性能检测工具，并识别资源短板，如CPU竞争、内存利用率、海量I/O存储以及网络流量。

本书基于实际经验，以循序渐进的方式教读者消除作业瓶颈，并在生产环境下全面优化MapReduce作业。除此之外，读者还将学到如何通过计算得出恰当地处理数据的集群节点数，如何根据硬件资源定义恰当的mapper和reducer任务数，以及如何用压缩技术和combiner优化mapper和reducer任务的性能。

最后，读者将会了解Hadoop集群调优的最佳实践和建议，并认识MapReduce模板类。

本书涵盖的内容

第1章解读MapReduce内在工作原理以及影响MapReduce性能的因素。

第2章介绍Hadoop配置文件以及与MapReduce性能相关的参数，并解释用来监视Hadoop MapReduce ...