spark job failure:Remote RPC Client Disassociated

可能是需要加机器,或者选择升级机型

当然,以上在正常情况下不是最好的解决办法。当初的我通过加大机型直接绕开了问题…worker失联很有可能是因为分布式运行的操作太过复杂了(或者worker分到的数据太多),导致进程计算了很久没有结果,就timeout了。
这个时候加大机型可能可以通过增加进程数量来降低计算的复杂度,所以可以
但是当数据量过大,夺大的机型都拯救不了,重点还是要提高并行度,参考血泪教训之:
https://www.jianshu.com/p/5559ee1fbaa7

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 1 介绍 远程过程调用似乎是一种有用的范式,用于在以高级语言编写的程序之间提供跨网络的通信。本文描述一个提供了远程...
    renwujie阅读 9,773评论 0 6
  • 用两张图告诉你,为什么你的 App 会卡顿? - Android - 掘金 Cover 有什么料? 从这篇文章中你...
    hw1212阅读 14,504评论 2 59
  • 前言 厨余垃圾处理器,其实是一个还比较小众的厨房电器,很多人可能也没听过,或者对它了解不多。我之前其实也是大概了解...
    识食务者阅读 4,816评论 0 1
  • 久违的晴天,家长会。 家长大会开好到教室时,离放学已经没多少时间了。班主任说已经安排了三个家长分享经验。 放学铃声...
    飘雪儿5阅读 12,198评论 16 22
  • 创业是很多人的梦想,多少人为了理想和不甘选择了创业来实现自我价值,我就是其中一个。 创业后,我由女人变成了超人,什...
    亦宝宝阅读 5,855评论 4 1

友情链接更多精彩内容