HDFS环境搭建

1. 前提条件

• java
• ssh
  ubuntu安装ssh

sudo apt-get install ssh
sudo apt-get install rsync
#开启hadoop的时候不用输密码
ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

2. 配置java环境

 #位置：/etc/hadoop/hadoop-env.sh
  export JAVA_HOME=/usr/java/latest

3.配置core-site.xml

#位置：/etc/hadoop/core-site.xml
<configuration>
 <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
#避免linux重启数据丢失
<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/ubuntu/app/tmp</value>
    </property>
</configuration>

4. 配置hdfs-site.xml

#设置副本系数为1，默认为3
<configuration>
  <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

5.启动hdfs

（1）格式化文件系统（仅第一次执行）
$ bin/hdfs namenode -format
（2）启动
$ sbin/start-dfs.sh
（3）验证
http://qiniu.backurl.cn/18-12-6/33132610.jpg
http://ip:50070
（4）停止
$ sbin/stop-dfs.sh