Spark常见问题诊断

经常会遇到如下异常, 某一个task多次失败导致作业失败. 这种情况下因为容器退出, 无法查看日志, 已经很难判断具体的失败原因.

可以参考如下步骤进行简单诊断问题,

1. 点击如下失败的stage链接,

2. 进入如下task列表, 可以看到Index 396就是上面异常中的Task 396,  而对应的四次失败Attempt 的TID分别是 1165, 1318.

注意:这几次失败尝试发生的Host完全相同, 表示作业在同一台机器上反复执行这个task 4次并均告失败, 最终导致作业失败. 这种情况就极有可能是当时这台机器的状态不正常或负载偏高导致的

推荐阅读更多精彩内容

• Spark排错与优化

  转载地址 http://blog.csdn.net/lsshlsw/article/details/4915508...

  Helen_Cat阅读 5,071评论 0赞 1
• Spark性能优化指南——高级篇

  1 数据倾斜调优 1.1 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spar...

  wisfern阅读 2,939评论 0赞 23
• Spark排错与优化

  一. 运维 1. Master挂掉,standby重启也失效 Master默认使用512M内存，当集群中运行的任务...

  breeze_lsw阅读 9,322评论 2赞 32
• 数据倾斜与shuffle类性能调优

  场景 数据倾斜解决方案与shuffle类性能调优 分析 数据倾斜 有的时候，我们可能会遇到大数据计算中一个最棘手的...

  过江小卒阅读 3,474评论 0赞 9
• 投简历与面试

  初到深圳，表哥就谈到，我帮你介绍分工作，没有问题，但是那样，我马上把你赶回去，当然我当时嘴也蛮硬，说自己找，可是当...

  789951af8811阅读 316评论 0赞 0