yarn资源优化

yarn概念

  yarn是hadoop2.X分离出的资源调度平台，将任务的资源分配单独抽离，以适应在此平台上的其他类型任务的扩展。  

图片.png

参数优化

yarn参数配置文件为yarn-site.xml

yarn.nodemanager.resource.memory-mb 设置每个节点的可用内存，单位MB。合理设置该参数，将影响到DataNode的运行情况。

yarn.nodemanager.resource.cpu-vcores 设置每个节点虚拟cpu内核数

yarn.scheduler.minimum-allocation-mb 单个任务可申请的最小内存，默认1024MB

yarn.scheduler.maximum-allocation-mb 单个任务可申请的最大内存，默认8192MB

mapreduce参数配置

mapreduce.map.memory.mb 每个Map任务的物理内存限制
每个map任务的内存，应该是大于或者等于Container的最小内存
mapreduce.reduce.memory.mb 每个Reduce任务的物理内存限制

mapreduce.map.java.opts -Xmx1200m

mapreduce.reduce.java.opts -Xmx2600m

根据yarn.nodemanager.resource.memory-mb及mapreduce.map.memory.mb可以计算出每个slave可以运行的Map个数，reduce个数