1.java环境配置
1.官网下载安装包:
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2.解压该安装包并把它放到对应目录下:
获取root权限
:$ su
password:
根目录下创建java目录
:# mkdir /java
移动安装包到该目录下
解压到当前目录
:# tar -xvf jdk-8u191-linux.tar.gz
3.配置环境变量
打开environment文件
:# gedit /etc/environment
修改如下:保存使环境变量生效
:# source /etc/environment
4.查看是否配置成功
:# java -version
出现如下内容,则配置成功5.设为永久环境变量
打开profile文件
:# gedit /etc/profile
在文件最后增加如下(如果你的文件路径和我不同,记得修改):使环境变量生效
:# source /etc/profile
6.重启系统
重启系统
:# reboot
重启完成后查看java环境变量
:# java -version
2.安装ssh
检查是否安装了ssh服务
:# apt-cache policy openssh-client openssh-server
安装ssh服务
:# apt-get install openssh-server
查看ssh服务开启情况
:# ps -e|grep ssh
开启ssh服务
:# sudo /etc/init.d/ssh start
修改配置文件(否则root用户无法访问)
打开ssh的配置文件
:# gedit /etc/ssh/sshd_config
增加语句
:# PermitRootLogin yes
修改如下重启ssh服务
:# sudo /etc/init.d/ssh restart
若想实现远程访问,在此基础上请参考这篇博客:https://blog.csdn.net/Venry_/article/details/85233991
3.hadoop伪分布式安装配置
1.从官网下载安装包https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
2.解压安装包
和解压jdk一样,新建一个hadoop文件夹,然后将安装包移动过来进行解压
:# mkdir /hadoop
:# mv 下载路径 /hadoop
:# tar -xvf /hadoop/hadoop-2.9.2.tar.gzip
3.配置hadoop环境变量
打开profile文件
:# gedit /etc/profile
修改如下(如果你的文件路径和我不同,记得修改):保存profile文件
:# source /etc/profile
4.添加jdk
打开hadoop-env.sh文件
:# gedit /hadoop/hadoop-2.9.2/etc/hadoop/hadoop-env.sh
修改如下:5.修改core-site.xml
打开
:# gedit hadoop/hadoop-2.9.2/etc/hadoop/core-site.xml
修改内容(如果你的文件路径和我不同,记得修改):
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/hadoop/hadoop-2.9.2/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
修改截图6.修改hdfs-site.xml
打开
:# gedit hadoop/hadoop-2.9.2/etc/hadoop/hdfs-site.xml
修改内容(如果你的文件路径和我不同,记得修改):
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/hadoop-2.9.2/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop/hadoop-2.9.2/tmp/dfs/data</value>
</property>
</configuration>
修改截图7.配置完成后,执行namenode的初始化
:# ./hadoop/hadoop-2.9.2/bin/hdfs namenode -format
8.启动namenode和datanode进程
:# ./hadoop/hadoop-2.9.2/sbin/start-dfs.sh
运行截图特别注意:如果在执行此步骤时,输完密码后,出现ssh拒绝登录的情况,如下:
localhost:permission denied,please try again
你需要再次编辑ssh配置文件,即/etc/ssh/sshd_config,然后找到PermitRootLogin prohibit-password将其注释掉,如下:
#PermitRootLogin prohibit-password
然后重启ssh服务:
:# sudo service ssh restart
现在再次重启namenode和datanode进程服务就不会拒绝登入了!
9.查看信息
成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。