1.虚拟 CPU 个数计算方法

CPU 个数 * 单个 CPU 核数 * 单个 CPU 核的超线程数

为了避免资源浪费, 虚拟 CPU 与内存需满足线性比例: 

1 : 4 G ~ 8

2.硬盘大小

需考虑临时数据的存储: 20% ~ 30%

(存储的数据量 * 副本数 ) / DataNode 数 * (1 + 0.2 ~ 0.3)

3.HDFS参数调优

（1）hdfs-site.xml 参数

解释: Hadoop 的文件块大小,通常设为 128MB 或 256MB

解释: NameNode 同时和 DataNode 通信的线程数,默认为 10。

解释:dfs.datanode.max.xcievers 对于 DataNode 如同 Linux 上文件 句柄限制。 当 DataNode 上面的连接数超过配置中的设置时, DataNode 就会拒绝 连接,修改设置为 65536

解释: 执行 start-balancer.sh 的带宽,默认为 1048576 (1MB/s),将其 调大为 20MB/s

解释: HDFS 文件副本数,默认为 3, 当许多任务同时读取一个文件时, 读取可能会造成瓶颈。 增大副本数可以有效缓解这种情况,但是也会造成大量的磁盘占用空 间。这时可以只修改 Hadoop 客户端的配置,那么从 Hadoop 客户端 上传的文件副本数将以 Hadoop 客户端为准。

解释: 设置 DataNode 在文件传输时最大线程数,通常设置为 8192。 如果集群中某台 DataNode 主机上的这个值比其他主机的大, 那么会 导致这台主机上的存储数据比别的主机相对要多,从而会导致数据分 布不均匀的问题，即使 balance 任然会不均匀。

（2）core-site.xml 参数

解释: Hadoop 缓冲区大小用于 HDFS 的文件的读写和 map 过程的 中间结果输出,默认为 4KB,增加到 128KB。

解释: 开启 HDFS 文件删除自动转移到垃圾箱的选项,值为垃圾箱文件 清除时间。一般开启这个会比较好,以防错误删除重要文件。默认值为 0, 单位是分钟。

（3）yarn-site.xml 参数

解释: yarn.nodemanager.resource.memory-mb 表示物理节点有多少 内存加入资源池。设置该值时,注意为操作系统和其他服务预留资源 

解释: yarn.nodemanager.resource.cpu-vcores 表示物理节点有多少 虚拟 CPU 加入资源池。设置该值时,注意为操作系统和其他服务预留 资源

解释: yarn.scheduler.increment-allocation-mb 表示内存申请的归整化 单位,即内存增量。如果申请的内存为 1.5GB,将被计算为 2GB。

解释: yarn.scheduler.increment-allocation-vcores 表示虚拟 CPU 申 请的归整化单位,即 CPU 增量, 默认为 1 个。 

解释: 单个任务(容器)能够申请到的最大内存资源,根据容器内存总量进 行设置,默认为 8GB。 如果设定为和参数 yarn.nodemanager.resource.memory-mb 一样,那 么表示单个任务使用的内存资源不受限制。

解释: 单个任务(容器)能够申请到的最小内存资源,默认为 1GB。 

解释: 单个任务(容器)能够申请到的最大虚拟 CPU 数,根据容器虚拟 CPU 总数进行设置,默认为 4。 如果设定为和参数 yarn.nodemanager.resource.cpu-vcores 一样,那 么表示单个任务使用的 CPU 资源不受限制

解释: 单个任务(容器)能够申请到的最小虚拟 CPU 资源,默认为 1。 

（4）mapred-site.xml 参数

解释: 表示 Map 任务的中间结果是否压缩。 当设为 true 时,会对中间结果进行压缩,这样会减少数据传输时需要的 带宽。设为 true 后,还可以设 置 >mapreduce.map.output.compress.codec 进行压缩算法的选择。 CDH5 已经内置 snappy 算法，还可以选择 LZO 等压缩算法,其中有 些需要额外安装。

解释: 表示 JVM 重用设置,默认为 1,表示 1 个 JVM 只能启动一个 任务。设为 -1 ,表示 1 个 JVM 可以启动的任务不受限制 

解释: 开启 Map 任务/ Reduce 任务的推测机制。 推测机制可以有效的防止因为瓶颈而导致拖累整个作业,但也要注意,推 测执行会抢占抢占系统资源,默认设置为 true。

解释: 表示 MapReduce 的中间结果的本地存储路径,该值设定为多磁 盘目录有助于提高 I/O 效率。

解释: 表示执行 Map 任务和 Reduce 任务的 JVM 参数,该配置还可 以配置 GC 等常见的 Java 选项 该参数粒度过粗, Map 任务和 Reduce 任务的内存需求和堆大小一般 不同,所以这些参数一般单数设定

<property> 
<name>mmapreduce.reduce.memory.mb </name>
<value>-1</value>
</property>

解释: 该参数表示执行 Reduce 任务需要的内存大小。 它可以从 mapreduce.map.java.opts 参数设定的值继承,如果没有设 定,该值根据容器内存设置。 一般要大于 mapreduce.map.memory.mb 。

<property>
<name>mapreduce.reduce.cpu.vcores</name><value>1</value>
</property>

解释: 该参数表示执行 Reduce 任务需要的虚拟 CPU 数,默认值为 1。根据容器虚拟 CPU 数设定,可以适当加大,并且该值与参数 mapreduce.reduce.memory.mb 成线性比例才不至于浪费资源。 一般要大于 mapreduce.map.cpu.vcores 。

<property>
<name>yarn.app.mapreduce.am.resource.cpu-vcores</name>
<value>1</value>
</property>

解释: 该参数表示执 MapReduce 作业的 ApplicationMaster(二级调 度器) 向 ResourceManager(一级调度器) 申请的虚拟 CPU 个数,默 认值为 1,可以适当调大。

<property>
<name>yarn.app.mapreduce.am.resource.mb</name>
<value>1536</value>
</property>

解释: 该参数表示执 MapReduce 作业的 ApplicationMaster(二级调 度器) 向 ResourceManager(一级调度器) 申请的内存大小,默认值为 1536 MB,可以适当调大。

<name>mapreduce.task.io.sort.mb</name>

<value>100</value>

解释: 该参数表示 Map 任务的输出的环形缓冲区大小,默认为 100MB, 可以适当调大。

<name>mapreduce.task.io.sort.factor</name>

<value>10</value>

解释: 该参数为控制 Map 端和 Reduce 端的合并策略,表现为一次合 并的文件数目,默认值为 10。 该值如果过大会使合并时内存消耗过大,如果过小会增加合并次数。

<name>mapreduce.map.sort.spill.percent</name>

<value>0.80</value>

解释: 该参数表示 Map 任务的输出的环形缓冲区的阈值,一旦缓存区 的内容占缓冲区的比例超过该值,则将缓冲区的内容刷写到mapreduce.cluster.local.dir 所配置的目录,默认为 0.8,建议不低于 0.5。

<name>mapreduce.reduce.shuffle.parallelcopies</name>

<value>25</value>

解释: 该参数表示 Reduce 任务从 Map 任务复制输出的工作线程数, 默认为 5, 可以适当调高。如果设置过高,会导致大量数据在网络同时传 输,引起 I/O 压力过大,比较科学的设定方式为 4 * lgN ,其中 N 为集群 容量大小。mapreduce.cluster.local.dir 所配置的目录,默认为 0.8,建议 不低于 0.5。

<name>mapreduce.reduce.shuffle.input.buffer.percent</name>

<value>0.7</value>

解释: 该参数表示 shuffle 中的复制阶段耗费 Reduce 任务堆比例,默

认为 0.7。Reduce 任务的堆由前面的配置计算得出,可以根据具体情况

进行增减。

<name>mapreduce.reduce.shuffle.merge.parallelcopies</name>
<value>0.66</value>

解释: 表示当内存使用率超过该参数时,将会触发一次合并操作,已将内

存中的数据刷写到磁盘上,默认值为 0.66,可以根据具体情况适当调整。

<name>mapreduce.job.reduce.slowstart.completedmaps</name>

<value>0.05</value>

解释: 该参数控制 Reduce 任务的启动时机,默认值为 0.05。 表示当 Map 任务完成数目达到 5% 时,启动 Reduce 任务,这是为较 缓慢的网络传输设计的,可以适当调高。 不过 Reduce 任务启动时间过早或者过晚都会增加作业的完成时间。 如果不加设定, MapReduce 作业的 Reduce 个数默认为 1,可以根据 需要在作业中进行设定。 除了以上配置,还可以配置任务调度器,设置跳过坏记录来提高执行效率。

Hadoop 的参数调优主要遵循以下 3 条原则:

1. 增大作业并行度,如增大 Map 任务的数量;

2. 保证任务执行时有足够的资源;

3. 满足上两条原则的前提下,尽可能的为 Shuffle 阶段提供资源。