Spark on Yarn Executor Cores、Nums、Memory优化配置
设置以上三个参数，除了计算集群的节点数、节点Cores和内存大小外，还需要考虑以下四点因素：
Hadoop/Yarn/OS Deamons：
spark使用yarn做资源管理，yarn后台使用一些守护进程中运行的，如NameNode，Secondary NameNode，DataNode，JobTracker和TaskTracker，因此在设置num-executors，需为每个节点预留1个core来保证这些守护进程平稳地运行。
Yarn ApplicationMaster（AM）：
AM负责从ResourceManager申请资源，与NodeManager进行通信启动/停止任务，监控资源的使用。在Yarn上执行Spark也要考虑AM所需资源（1G和1个Executor）。
HDFS Throughput：
HDFS Client有多个并发线程写的问题，HDFS每个Executor的使用5个任务就可获取完全并发写。因此最好每个Executor的cores不高于5.
MemoryOverhead：
下面图片展示 spark-yarn-memory-usage
每个executor需要内存=spark-executor-memory+spark.yarm.executor.memoryOverhead
spark.yarm.executor.memoryOverhead=Max（384m，7%*spark.executor.memory）即大于等于384M
如果我们为每个executor申请20GB资源，实际上AM获取的资源20GB+7%*20GB=～23GB。
集群环境配置如下：
节点数：10个
每个节点Cores：16
每个节点RAM：64GB
方案1: 每个Executor分配一个Core
--num-executors= 16 x 10 = 160
--executor-cores= 1
--executor-memory = 64GB/16 = 4GB
方案分析：
一个Executor分配1个Core的情况，不能发挥相同JVM内运行多个tasks任务的优势。还有broadcast变量和accumulators会被复制到每个节点的每个core有16次（广播变量和累加器在不指定分区的情况下，会占用所有可用的core，core对应task，task对应partition）。这样也没有充足的资源为Yarn daemon processes和AM。
方案2: 每个Executor分配一个节点
--num-executors = 10
--executor-cores = 16
--executor-memory = 64GB/1 = 64GB
方案分析：
一个Executor分配16个Cores的情况，虽然没有AM和Yarn daemon资源分配问题，但是HFDS throughput将会受到不好的影响。并且会导致过重的GC问题。
方案3: 上述两种方案的折中
考虑到上述四点因素：
每个executors设5 cores，即—executor-cores = 5（HFDS throughput有更好的并发效果）
每个节点为Yarn daemons保留一个core，即每个节点可用cores为16-1=15个。
所以，集群当中可用的cores总数为10*15=150
executors数量=150/5=30
为AM保留一个executor，—num-executors=29
每个节点的executor数=30/10=3
每个节点的每个executor分配的内存=64G/3=21GB
去除heap overhead=7%*21GB=3GB
所以，—executor-memory=21-3=18GB
故，推荐参数配置：
—num-executors=29
—executor-core=5
—executor-memory=18GB
方案分析：
即能获得executors并行度又能实现最好的吞吐量。
总结：
--num-executors, --executor-cores and —executor-memory这些参数在spark运行过程中起到非常极其重要的作用，其影响到spark程序获得CPU和内存的使用。
参考：http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/
