大数据工具:Spark配置遇到的坑

遇到的问题:
在配置spark的时候,启动spark-shell正常启动和使用,但是使用脚本start-all.sh 启动所有的服务时遇到问题,抛出Java异常:
Unsupported major.minor version 51.0

原因分析


看了sprak启动脚本代码,基本上就是config加载相关环境变量(Hadoop相关以及$SPARK_HOME等的需要配置好,其他spark相关的配置在conf/spark-env.sh中配置),然后启动master,再启动slaves。

我将在start-slaves.sh中最后一行shell echo出来执行,发现并没有问题,可以正常启动slave。所以原因可能是我用一个账号作为中转二次ssh登录的时候造成Java环境丢失,并没有新安装的Java1.7环境。

解决方案


在spark-env.sh中再次export JAVA_HOME 或者 再次source .bash_profile。第二中方案比较优秀,因为可以针对不同机器通用。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容