三种安装模式简介
(1)关闭防火墙
查看防火墙状态:sudo ufw status
关闭防火墙:sudo ufw disable
(2) SSH安装
客户端软件安装
1.查看SSH是否安装:sudo dpkg -l | grep ssh
2.无“openssh-client”字样,安装SSH命令:
sudo apt-get install openssh-client
服务端软件安装
1.安装: sudo apt-get install openssh-server
2.重启SSH服务: sudo /ect/init.d/ssh restart
(3)安装JDK
1.上传JDK并解压:tar -zxvf jdk-8u171-linux-x64.tar.gz
2.创建JDK软链接:ln -s jdk1.8.0_171 jdk ---->方便后续使用
3.配置JDK环境变量:sudo vi ~/.bashrc
在文件内容的末尾添加如下代码(注意:等号两侧不要有空格)
export JAVA_HOME=~/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.
export PATH=${JAVA_HOME}/bin:$PATH
4.使配置生效:source ~/.bashrc
5.检验是否安装成功:java -version
(4)下载Hadoop并解压,环境配置
1.解压:tar -zxvf hadoop-2.7.3.tar.gz
2.创建软链接:ln -s hadoop-2.7.3 hadoop
3.配置环境变量:sudo vi ~/.bashrc
#添加以下代码
export HADOOP_HOME=~/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
4.使配置生效:source ~/.bashrc
5.验证Hadoop环境配置是否正确
①whereis hdfs
②whereis start-all.sh
(5)HADOOP安装----伪分布模式
1.修改主机名 : sudo vi /etc/hostname
将原有内容删除,添加如下内容。
node1
2.重启 Ubuntu 操作系统,使修改生效: $ sudo reboot
3.修改/etc/hosts 文件:$ sudo vi /etc/hosts
在文件末尾添加一下内容,下面的 IP 地址根据实际的 IP 地址修改。
192.168.30.128 node1
4.免密登录设置
(1)生成密钥对 $ ssh-keygen -t rsa
其中,rsa 表示加密算法,键入上面一条命令后连续敲击三次回车键,系统会自动在 ~/.ssh 目录下生成公钥(id_rsa.pub)和私钥(id_rsa),可通过命令$ ls ~/.ssh 查看
(2)追加公钥 $ ssh-copy-id -i ~/.ssh/id_rsa.pub node1
我们以本机登录本机自己为例(连接本机),将公钥追加到~/.ssh/authorized_keys 文 件中。
(3)免密登录验证
执行命令 ssh node1,首次登陆需要输入“yes”,第二次登录就不需要输入任何信息了。 注意命令行路径的变化。以下例子免密登录之前的路径是“~/.ssh”,登录后的路径是“~”。
退出:exit
(6)设置 Hadoop 配置文件
安装 Hadoop 伪分布式模式,总共有 5 个文件需配置,它们分别是 hadoop-env.sh、
core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。这些配置文件的路径均在
${HADOOP_HOME}/ etc/hadoop 目录下。
1.进入 Hadoop 配置文件所在目录
$ cd ${HADOOP_HOME}/etc/hadoop
Hadoop的配置文件:https://www.jianshu.com/p/f3ff95bf7082
(7)格式化 HDFS
格式化的过程是创建初始目录和文件系统结构的过程。执行以下命令格式化 HDFS。
$ hdfs namenode -format
注意:格式化只需进行一次,下次启动不要再次格式化,否则会少 DataNode 进程。
(8)启动 Hadoop
jps查看进程
①启动HDFS start-dfs.sh
1.NameNode 2.DataNode 3.SecondaryNameNode
②启动YARN start-yarn.sh
4.ResourceManager 5.NodeManager
也可以用start-all.sh
(9)通过 Web 访问 Hadoop
1.HDFS Web 界面
在 Windows 浏览器中,输入网址 http://192.168.30.128:50070,可以查看 NameNode 和 DataNode 的信息
在 Windows 浏 览 器 中 , 输 入 网 址 http://192.168.30.128:50090 , 可 以 查 看 SecondaryNameNode 的信息
2.YARN Web 界面
在 Ubuntu 操作系统的浏览器中,输入网址 http://192.168.30.128:8088,可以查看集群 所有应用程序的信息