spark.yarn.executor.memoryOverhead这个参数困扰了我很久，首先文档说它代表的是exector中分配的堆外内存，然而在创建MemoryManager时，有另一个参数spark.memory.offHeap.size，它决定了MemoryManager管理的堆外内存。那spark.yarn.executor.memoryOverhead这个参数与堆外内存有什么关系？

1. spark.executor.memoryOverhead:spark.yarn.executor.memoryOverhead在2.3被废弃，使用前者代替，但是spark也提供了向后兼容

在整个spark代码中，我只发现了在YarnAllocator使用了这个配置，就是下面代码中的EXECUTOR_MEMORY_OVERHEAD

// from YarnAllocator
 // Executor memory in MB.
  protected val executorMemory = sparkConf.get(EXECUTOR_MEMORY).toInt
  // Additional memory overhead.其中MEMORY_OVERHEAD_MIN为384MB，MEMORY_OVERHEAD_FACTOR 为0.1
  protected val memoryOverhead: Int = sparkConf.get(EXECUTOR_MEMORY_OVERHEAD).getOrElse(
    math.max((MEMORY_OVERHEAD_FACTOR * executorMemory).toInt, MEMORY_OVERHEAD_MIN)).toInt
  // Number of cores per executor.
  protected val executorCores = sparkConf.get(EXECUTOR_CORES)
  // Resource capability requested for each executors
  private[yarn] val resource = Resource.newInstance(executorMemory + memoryOverhead, executorCores)

整个资源的申请过程如下:

1. 当ApplicationMaster启动后，其组件YarnAllocator向yarn请求启动executor的资源，其中内存大小为spark.executor.memory + spark.executor.memoryOverhead，为了描述方便，这里称为requestMemory
2. RM接收到请求后，返回的内存大小为math.max(requestMemory, yarn.scheduler.minimum-allocation-mb)
3. YarnAllocator获取资源后，发送要启动CoarseGrainedExecutorBackend的命令，其中会设置-Xms -Xmx的值为spark.executor.memory，即堆内存，而不包含spark.executor.memoryOverhead
4. NodeManager获取到该命令，开始启动container，并通过ContainerManagerImpl来监控物理内存与虚拟内存的使用，此时监控的物理内存阈值为RM返回的内存大小，而不是命令启动的'-Xms -Xmx'内存大小。其中物理内存为JVM使用的堆外+堆内
5. 如果有一个内存超过阈值，则会杀掉该container

综上，spark.yarn.executor.memoryOverhead是用来避免NodeManager因为container内存不足而杀掉container，当报错信息中包含Consider boosting spark.yarn.executor.memoryOverhead.，就是NM监控到container内存不足而杀掉了container导致的，这里增大spark.executor.memory与设置spark.yarn.executor.memoryOverhead是一样的效果，因为NM物理内存监控的是常驻内存空间RSS(-Xms -Xmx设置的内存为分配的内存，RSS指的是实际使用的堆外+堆内)，文档中说的堆外内存是相对于spark.executor.memory而言的

附件1：涉及的参数

附件2：container进程树(process tree)

-- default_container_executor.sh
---- default_container_executor_session.sh
------ launch_container.sh
-------- java -cp ... CoarseGrainedScheduler ...

在linux,ContainerManagerImpl基于进程树来统计内存，进程树的描述信息/proc/pid/status