Spark2.3.0-cdh5.16.1 standalone部署

# 解压

[hadoop@hadoop software]$ cd /home/hadoop/software/

[hadoop@hadoop software]$ tar -xvf spark-2.3.0-bin-2.6.0-cdh5.16.1.tgz -C /home/hadoop/app/

# 软连接

[hadoop@hadoop software]$ cd /home/hadoop/app/

[hadoop@hadoop app]$ ln -s spark-2.3.0-bin-2.6.0-cdh5.16.1 spark

# 配置文件配置ip

[hadoop@hadoop app]$ cp spark/conf/spark-env.sh.template spark/conf/spark-env.sh

[hadoop@hadoop app]$ vim spark/conf/spark-env.sh

添加 SPARK_LOCAL_IP=hadoop

# 部署完成,启动spark-shell验证是否部署成功

[hadoop@hadoop app]$ cd spark/bin/

[hadoop@hadoop bin]$ ./spark-shell --master=local


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容