Spark内存管理

<p>Spark 1.6之后采用一种新的内存管理设计模式Uniffied Memory Manager,并且在接下来的版本中不断的完善这种内存管理模型。</p>
<p>Spark 内存主要分为两个区域:Store内存和Execution内存。在Spark 1.5之前,内存管理使用的是StaticMemoryManager,这种方式最大的特点就是:Store内存区和Execution内存区被设置成一个静态的Boundary,也就是当程序启动后这两块区域的内存也就确定了,在运行的过程中不可以相互借用,这种方式在实现上相对来说比较简单,但是缺点也是恨明显的,主要体现在如下几个方面:
<ul>
<li>没有一种通用的方式可以适应所有的任务</li>
<li>内存优化相当困难,也就是说当程序出现OOM的时候,如果不是对Spark 的运行有一定了解的人很难很好的处理这类型的问题</li>
<li>对于那些不需要cache RDD的应用场景,会照成相当多的内存浪费</li>
</ul>
为了解决上述的问题,Spark社区提出了Uniffied Memory Manager(统一内存管理)的设计模型。Uniffied Memory Manager主要依赖下面几个组件:

Paste_Image.png

从上图中可以看出最直接最核心的类是ExecutionMemoryPool和StoreMemoryPool,它们实现了动态内存池(Memory Pool),可以动态的调整StoreMemory 和 ExecutionMemory之间的Soft boundary,使得内存管理更加的灵活。
</p>

<p>
<h4>内存分布</h4>
UnifiedMemoryManager是Memory Manager的一种实现,是给予StaticMemoryManager的改进。这种内存模型也是将某个执行Task的Execution JVM内存划分为两类内训区域:
<ul>
<li>Storage 内存区
<ul><li>Storage 内存,用来缓存Task数据、在Spark急速那中传输(Propagation)内部数据。</li></ul></li>
<li>Execution 内存区域
<ul><li>Execution 内存,用于Shuffle、Join、Sort、 Aggregation计算过程对内存的需求。</li></ul></li>
这种新的内存管理模型,在Storage内存区与Execution内存之间抽象出一个Soft Boundary,能够满足当某一个内存区中内存用量不足的时候,可以冲另一个内存区中借用。我们可以理解为,上面Storage内存和Execution堆内存是受Spark管理的,而且每一个内存区可以动态伸缩的。这种好处是,当某一个内存区域使用量到达初始分配值,如果不能动态伸缩,不能在两类内存区之间动态调整(Borrow),或者如果某个Task计算的数据量恨到超过限制,就会出现OOM异常导致Task执行失败。应该说,在一定程度上,UnifiedMemoryManager内存管理降低了发生OOM的概率。
</p>
<p>
我们知道,在Spark Application提交以后,最终会在Worker上启动独立的Executor JVM,Task就运行在Executor里面。在一个Executor JVM 内部,基于UnifiedMemoryManager这种内存管理模型,堆内存的布局如下图:


Paste_Image.png

</p>
<p>
上图中,systemMemory是Executor Jvm的全部堆内存,在全部堆内存基础上reservedMemory是预留的内存,默认300M,则用于Spark计算使用的堆内存大小默认是:

val   maxMemory=(systemMemory-reservedMemory)*0.6

</p>

<p>
受Spark管理的堆内存,使用除去预留内存后的、剩余内存的百分比,可以通过参数spark.memory.fraction来配置,默认值是0.6。Executor JVM堆内存,去除预留的reservedMemory内存,默认剩下堆内存的60%用于execution和storage这两类堆内存,默认情况下,Execution和Storage内存区各占50%,这个可以用过参数spark.memory.storageFraction来配置,默认值是0.5。比如,在所有参数都使用默认强狂下,我们的Executor JVM内存指定为2G;那么Unified Memory大小为(10242 - 300)0.6=1048M,其中,Execution和Storage内存区大小分别为:10480.5=524M。另外,还有一个用来保证Spark Application能够计算的最小Executor JVM内存大小限制,即为minSystemMemory=reservedMemory * 1.5 =300 * 1.5=450M,我们假设Executor JVM配置了这个磨人最小限制值450M,则首Spark管理的对内存大小为(450-300)0.6 = 90 M,其中EXecutor和Storage内存大小分别为:900.5=45M,这种情况对一些小内存用量的Spark 就是那也是能够很好的支持的。
第二点需要注意的是 (systemMemory-reservedMemory)
0.4 是给应用程序本省运行预留的内存,因为程序本身在运行的时候 也是需要内存的(比如,局部变量的定义什么的)
上面,我们详细的说明了受Spark管理的堆内存(onHeap Memory)的布局,UnifiedMemoryManager也能够对非堆内存(OffHeap Memory)进行管理。Spark堆内存和非堆内存的布局:

Paste_Image.png

</p>
<p>
通过上图可以看到,非堆内存(OffHeap Memory)默认大小配置为0,表示不使用非堆内存,可以通过参数spark.memory.offHeap.size来设置非堆内存大小。无论是对堆内存,还是非堆内存,都分为Execution内存和Storage内存两部分,他们的分配大小比例通过spark.memory.storageFraction来控制,默认是0.5.

</p>

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容