背景: java实现任务调度框架,可实现任务间相互依赖,支持并行、串行等不同场景。
问题:其中某个节点任务是执行shell,cmd内容是执行hadoop 命令拉取数据。任务上线来一直运行正常,但某次之后会间歇性block。当时猜测和hadoop客户端改动有关(单独执行hadoop命令正常返回,但比hadoop升级之前多一些exception信息)。
排查:
1、网上查一些资料 
2、通过尝试验证,发现确实是process进程blocking住了, 通过把shell内cmd的重定向消费后,任务正常
记一次问题排查
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
相关阅读更多精彩内容
- 问题现象 创建一个nginx pod,并配置了service访问,service后端指向pod。 进入pod中使用...
- 之前看我文章的小伙伴可能知道,由于我们公司由.net转java,所以我也一直在边做项目边学习java,这里记录一次...
- 公司:HJSD 职位:Java开发工程师 项目代号:G 简介 G项目是在HJSD接触的第一个项目,项目中包含了数据...
- 历史原因,当前有一个服务专门用于处理mq消息,mq使用的阿里云rocketmq,sdk版本1.2.6(2016年)...