Spark性能调优

开启推测机制

如果集群中某台机器的几个task特别慢，推测机制会将任务分配到其他机器执行，最后Spark会选取最快的作为最终结果，相关参数：

spark.speculation=true  // 开启推测机制
spark.speculation.interval=100 // 检测周期，单位毫秒；
spark.speculation.quantile=0.75  // 完成task的百分比时启动推测；
spark.speculation.multiplier=1.5  // 比其他的慢多少倍时启动推测。

修改序列化

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

  • Spark性能调优
    调优之前是将功能实现...然后算法优化,设计优化,再是spark调优!,需得一步一步来,不得直接越过,直接调优! ...
    终生学习丶阅读 5,662评论 0赞 12
  • Spark性能调优01-资源调优
    1. 概述 在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-...
    CoderJed阅读 609评论 0赞 1
  • Spark性能调优02-代码调优
    1. 概述 代码调优，就是要让大家了解以下一些Spark基本开发原则，包括：RDD lineage设计、算子的合理...
    CoderJed阅读 334评论 0赞 1
  • Spark 性能调优--资源调优
    资源调优 在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-s...
    Alex90阅读 3,645评论 0赞 7
  • Spark性能调优05-Shuffle调优
    1. Spark Shuffle概述 在Spark的源码中，负责shuffle过程的执行、计算和处理的组件主要就是...
    CoderJed阅读 640评论 0赞 2

友情链接更多精彩内容