安装java环境
下载jdk，点击下载：
因为接下来安装的Hadoop版本是3.0所以这里安装1.8JDK
1、创建目录/usr/java
# mkdir -p /usr/java
2、将下载的jdk-8u60-linux-x64.tar.gz上传至/usr/java目录;
3、解压jdk-8u60-linux-x64.tar.gz
# tar -zxvf jdk-8u60-linux-x64.tar.gz
4、解压生成后,设置环境变量,具体命令如下
# echo "export JAVA_HOME=/usr/java/jdk1.8.0_60" >>/etc/profile
# echo 'export PATH=$JAVA_HOME/bin:$PATH' >> /etc/profile
# source /etc/profile
# java -version
配置ssh免密登录
首先安装配置SSH
原因：不配置SSH免密登录，每次请求流程比较繁琐。客户机在与远程机进行交互时要进行三次才能登录：第一步请求远程机第二步远程机返回公钥第三步客户机使用密码+公钥加密后登录，这样导致每次都需要输入密码。 配置的ssh免密码登录后：客户机直接发送公钥到远程机，远程机发送随机字符串到客户机，客户机使用私钥加密传给远程机，远程机使用公钥加密后判断是否正确。 客户机掌握公钥和私钥，并且不再需要密码登录的方式成为ssh免密登录。
1、检测是否已经配置ssh
# ssh -version
2、获取并安装ssh
# apt install openssh-server(ubuntu)
# yum install openssh-server(centos)
3、配置ssh免密登录
一直回车
# ssh-keygen -t rsa
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4、测试ssh无密登陆
如果不提示输入密码则配置成功
# ssh localhost
安装Hadoop3环境
安装完成后可能会出现问题
Q1:Starting namenodes on [localhost]
ERROR: Attempting to launch hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting launch
解决方法：打开sbin/start-dfs.sh和stop-dfs.sh在文件头部添加
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
Q2:出现一下yarn错误提示：
Starting resourcemanager
ERROR: Attempting to launch yarn resourcemanager as root
ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting launch.
Starting nodemanagers
ERROR: Attempting to launch yarn nodemanager as root
ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting launch.
解决方案：打开sbin/start- yarn.sh和stop- yarn.sh在文件头部添加
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
安装scala环境
因为spark是有scale语言编写，因此需要安装scale环境。
打开https://www.scala-lang.org/download/下载对应版本语言库，这里下载版本是scala-2.12.1.tgz
1、将下载好的文件复制到/usr/local
2、解压下载的scala文件
# cd /usr/local/scala2.12
# tar -xzvf scala-2.12.1.tgz
3、添加环境变量
# vi /etc/profile
# export SCALA_HOME=/usr/local/scala2.12
# export PATH=$SCALA_HOME/bin:$PATH
4、配置生效
# source /etc/profile
5、检测是否安装成功
# scala –version
安装spark环境
打开下载地址http://spark.apache.org/downloads.html，选择需要下载的Spark release版本和package type，点击spark-2.3.3-bin-hadoop2.7.tgz打开下载页面。
1、 将下载好的文件复制到/usr/local/spark-2.3.3
2、解压文件spark-2.3.3-bin-hadoop2.7.tgz
# cd /usr/local/spark-2.3.3
# tar -xzvf spark-2.3.3-bin-hadoop2.7.tgz
3、添加环境变量
# vi /etc/profile
4、添加环境变量配置
# export SPARK_HOME=/usr/local/spark-2.3.3
# export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
5、添加配置文件
cong下创建配置文件spark-env.sh 配置hadoop+jdk
# export SPARK_DIST_CLASSPATH=$(${HADOOP_PATH} classpath)
# export JAVA_HOME=/usr/java/dk1.8.0_60
6、验证成功
# spark-shell
参考 Hadoop 安装与测试
若有疑问欢迎留言交流
