搭建HDFS伪分布式文件系统

1，准备材料

hadoop-2.6.0-cdh5.7.0.tar.gz
jdk-7u80-linux-x64.tar.gz
具体下载：https://download.csdn.net/download/WOMEN_123456/15617437
把这两个材料上传到linux系统中

上传文件

2，在linux系统中安装jdk，并配置到系统环境中

1.执行命令，把jdk安装到家目录下的app目录中：
tar -zxvf jdk-7u80-linux-x64.tar.gz -C ~/app/
2.配置环境变量

1.打开/etc/profile文件进行配置，在这个文件的最后那行插入配置数据
vi /etc/profile
2.插入的数据
export JAVA_HOME=/home/zhx/app/jdk1.7.0_80
export CLASSPATH=.:$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
3.退出这个文件，让配置生效，执行命令
source /etc/profile
4，检验是否配置成功,输入以下命令看是否有jdk的信息
java -version
echo $JAVA_HOME

检验结果.png

3，安装ssh，并配置ssh免密登陆

sudo yum install ssh
ssh-keygen -t rsa 可以配置ssh免密登陆，一直回车就可以
ls -a 可以看到.ssh这个文件夹
cd .ssh进入这个文件夹中，可以看到两个文件
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
ssh localhost测试是否通了，第一次需要登陆，第二次就不需要了

4，配置网络

因为我用的是虚拟机，所以需要配置一下网络，配置成静态的
vi /etc/sysconfig/network-scripts/ifcfg-ens33
可以先ifconfig看一下虚拟机的ip和ifcfg-xx是什么就去找什么

静态地址.png

修改一下/etc/hostname
vi /etc/hostname

修改hostname.png

配置地址映射
vi /etc/hosts

地址映射.png

配置完网络之后，需要重启一下虚拟机，让配置生效

5，在linux系统中安装hadoop，解压 hadoop-2.6.0-cdh5.7.0.tar.gz

tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app/
cd ~/app/ hadoop-2.6.0-cdh5.7.0/etc/hadoop进入hadoop目录下的etc目录下的hadoop目录

vi hadoop-env.sh对这个文件进行配置,把刚刚的jdk的路径配置进去

image.png

vi core-site.xml对这个文件进行配置

<configuration>
<property>
     <name>fs.defaultFS</name>
     <value>hdfs://192.168.190.190:8020</value>
</property>
<property>
       <name>hadoop.tmp.dir</name>这个是临时目录，如果不配置这个，那么每次重启之后，数据都会消失
       <value>/home/hadoop/app/tmp</value>
</property>
</configuration>

vi hdfs-site.xml对这个文件进行配置,配置副本系数

<configuration>
<property>
       <name>dfs.replication</name>
       <value>1</value>
</property>
</configuration>

vi slaves 有多少个DataNode就在这里面写多少个，这个是DN的ip

image.png

然后把hadoop配置到系统环境中，这样就可以使用hdfs命令了

vi /etc/profile

export HADOOP_HOME=/home/zhx/app/hadoop-2.6.0-cdh5.7.0
export PATH=$PATH:$HADOOP_HOME/bin

source /etc/profile 让配置生效
echo $HADOOP_HOME看是否配置成功

最后进入到 cd /home/zhx/app/hadoop-2.6.0-cdh5.7.0/bin/这个目录
执行./hadoop namenode -format格式化文件系统，仅仅第一次执行，不需要重复执行
然后进入到 cd /home/zhx/app/hadoop-2.6.0-cdh5.7.0/sbin/
执行./start-dfs.sh,这里可能需要切换到root用户，否则可能权限不够
全部检查完毕，如果需要关闭，可以执行./stop-all.sh

检查是否启动成功，输入jps，看是否出现如下图所示进程

image.png

或者可以在浏览器中输入http://zhx:50070/看是否会出现hadoop界面

image.png

image.png

可能遇到的问题，需要关闭防火墙来解决，或者需要用root用户来操作
在浏览器中可以下载hdfs中的文件，如果下载失败，如果你用的是虚拟机，需要在你本地的计算机上的hosts文件中配置虚拟机映射，我的是在windows系统上安装的虚拟机，C:\Windows\System32\drivers\etc进入这个目录下的hosts文件，配置192.168.190.190 zhx，然后保存退出，这样就可以通过浏览器下载了

检查防火墙firewall-cmd --state
关闭防火墙systemctl stop firewalld.service
设置开机禁止启动防火墙systemctl disable firewalld.service