15.apache-hadoop之spark安装

1.从spark官网下载spark安装程序

spark-2.2.1-bin-hadoop2.6.tgz

2. 解压

tar zxvf spark-2.2.1-bin-hadoop2.6.tgz     
ln -s spark-2.2.1-bin-hadoop2.6 spark2

3、环境变量

vi /etc/profile

#Spark 2.0.1
export SPARK_HOME=/app/zpy/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

Source /etc/profile

4、配置文件

cp spark-env.sh.template spark-env.sh

vi spark-env.sh

export JAVA_HOME=/app/zpy/java/jdk1.8.0_51
export SPARK_MASTER_HOST=master主机名
SPARK_WORKER_CORES=15
SPARK_WORKER_MEMORY=32G
HADOOP_CONF_DIR=/app/zpy/hadoop/etc/hadoop  #如果执行spark on yarn 必须设置这个
例如：spark-submit --class com.ism.asset.spark.AssetDaily --master yarn --deploy-mode client  --name asset_daily --executor-memory 2g --driver-memory 2g /app/zpy/assessdaily/asset-daily.jar（--master yarn需要用到HADOOP_CONF_DIR）

cp slaves.template  slaves
vi slaves 添加从的IP，删除localhost

5. 将复制到其他节点

scp -r /app/zpy/spark root@x.x.x.x:/app/zpy/

6. 修改权限

chown -R hadoop:hadoop /app/zpy/spark

7. 启动

ps：su hadoop
只需要在master节点操作如下两条命令：


start-master.sh
start-slaves.sh

7、验证

su hadoop 
jps 查看master与worker进程

spark-shell 查看启动spark是否有报错

8、Web界面

http://master:8080

最后编辑于：2018.03.08 17:14:10