spark2.0.0安装部署指南
标签（空格分隔）： spark
[TOC]
下载安装包
spark2.0.0默认使用scala2.11进行编译，所以在这里我们下载2.11版本的scala
获取scala安装包:
wget http://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz
我们选择spark-2.0.0-bin-hadoop2.7.tgz作为我们本次安装部署的内容
http://d3kbcqa49mib13.cloudfront.net/spark-2.0.0-bin-hadoop2.7.tgz
安装scala
所有节点都需要做这个配置
目录规划
安装目录:/data/bigdata/scala-2.11.8
解压scala
tar -zvxf scala-2.11.8.tgz -C ../
配置环境变量
export SCALA_HOME=/data/bigdata/scala-2.11.8
PATH=$PATH:$SCALA_HOME/bin
export PATH
验证环境变量
> scala
配置Spark
目录规划
- 安装目录：/data/bigdata/spark
- 数据存放目录：/data/bigdata/data/spark
- 日志存放目录：/data/bigdata/logs/spark
解压并添加环境变量（所有节点）
tar -zvxf spark-2.0.0-bin-hadoop2.7.tgz -C ../
mv spark-2.0.0-bin-hadoop2.7/ spark
vi ~/.bash_profile
export SPARK_HOME=/data/bigdata/spark
export PATH=$PATH:$SPARK_HOME/bin
修改spark-env.sh
#cp spark-env.sh.template spark-env.sh
#vi spark-env.sh
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export SPARK_MASTER_IP=192.168.25.10
export SPARK_MASTER_PORT=8888
export SPARK_MASTER_WEBUI_PORT=8080
export SPARK_WORKER_CORES=3
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=1G
export SPARK_WORKER_PORT=7078
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_JAVA_OPTS="-verbose:gc -XX:-PrintGCDetails -XX:PrintGCTimeStamps"
