Centos下的Spark环境搭建

在usr文件夹下新建java,scala,和spark文件夹,并将对应压缩包放入文件夹内

打开终端输入命令新建文件夹:

cd /uer

mkdir java(scala,spark同)

将压缩包上传至对应目录下,可使用工具


解压jdk 

输入命令

  tar –zxvf jdk-8u161-linux-x86.tar.gz


解压SDK

配置jdk环境变量,在、etc/profile下添加如下语句


配置JDK

然后输入source /etc/profile/保存配置,输入java –version验证sdk


验证SDK

解压scala


解压scala

配置scala

在profile文件添加如下:


scala配置

验证scala

输入

scala –version



验证scala

解压spark

输入命令

tar –zxvf spark-2.3.0-bin-hadoop2.7.tgz


解压spark

配置spark

添加如下,添加完成后保存执行命令

source /etc/peofile



配置spark

进入到主目录,也就是执行下面的命令:

 cd    /opt/spark/spark-2.3.0-bin-hadoop2.7

 执行命令,启动脚本:

./bin/spark-shell


©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容