spark报错

1、Exception in thread "main" org.apache.spark.SparkException: Cluster deploy mode is not applicable to Spark shells.


具体报错信息.png

解决方案:
使用命令:
spark-shell --master yarn --deploy-mode client

2、Caused by: java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext.

part1.png
part2.png

原因:没有关闭sc资源
解决:
sqlContext.sparkSession.close()
sc.stop()

详细检查写结束的位置,写在最后,解决问题。低级失误

多加了最后一行即解决.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。