spark submit 提交任务时遇到的报错 及 解决方法

错误1

spark2-shell中,sc.map.collect会报错

再后来打开spark2-shell也会warning:

spark报错:warn util.utils::service 'sparkUI' can not bind  on part 4040.Attempting port 4041.

可能1 spark-shell里面又单独的设置了spark的context,因为spark-shell里已经有一个context对象了,所以你新建创建的数据无法使用

可能2 主要就是数据库的端囗都已经被占满了,而且无法释放

>应该是有一个sparkcontext在了

>查看是否有应用在用sparkcontext

用yarn application -list

>杀掉该应用

yarn application -kill application_1544008547077_0071


错误2

cluster.YarnScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

解决方法:

到各个节点释放内存

>free -g  查看内存

>sync

>echo 3 > /proc/sys/vm/drop_caches


错误3

existcode 10

原因:

>权限不对,jar包,hdfs文件要放到用户能够获取的位置

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容