spark on eks with fargate 资源匹配计算公式

spark executor memory = spark executor memory * 0.4 + spark executor memory + 256

0.4是 spark on kubenetes 非java 程序的memoryoverhead 参数默认值，如果是java就是0.1

256m 是 fargate 预留内存值。

所以想匹配fargate 8GB ， 套入公式 ，就是 x*0.4+x+256=8192m

算下来就是2742.86 。 所以 spark executor memory 设置成2742 ， 肯定会匹配到fargate 4G 内存

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • SPARK优化
    1.1、 分配更多资源 1.1.1、分配哪些资源？ Executor的数量 每个Executor所能分配的CPU数...
    miss幸运阅读 3,229评论 3赞 15
  • spark调优
    1、 性能调优 1.1、 分配更多资源 1.1.1、分配哪些资源？ Executor的数量 每个Executor所...
    Frank_8942阅读 4,699评论 2赞 36
  • Spark性能调优
    1.分配更多的资源 -- 性能调优的王道 真实项目里的脚本： bin/spark-submit \ --c...
    evan_355e阅读 1,943评论 0赞 0
  • spark内存溢出及其解决方案
    1、你在工作当中有遇到内存溢出问题吗？你是如何解决的？ 回答思路：先解释spark的内存模型，再分情况介绍不同...
    becooner阅读 2,999评论 0赞 0
  • 大数据Hadoop之——计算引擎Spark
    @[TOC] 一、概述 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC...
    大数据老司机阅读 560评论 0赞 1