1.安装Hadoop
1.到官网http://hadoop.apache.org/下载hadoop程序hadoop-3.1.0.tar.gz
2.上传到linux系统中的'/usr/local'目录下, 并用命令 'cd /usr/local'进到此目录下.
3.用'tar -zxvf hadoop-3.1.0.tar.gz'解压文件.
4.进入到'/usr/local/hadoop-2.2.0/etc/hadoop'中修改配置
5.设置(如果出错就改第五步的hostname)
1.vim hadoop-env.sh
修改：export JAVA_HOME=/usr/local/jdk1.8.0_161
2.vim core-site.xml
<configuration>
<!--配置HDFS的NameNode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.83.128:9000</value>
</property>
<!--配置Hadoop运行时产生的文件的目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.2.0/tmp</value>
</property>
</configuration>
3.vim hdfs-site.xml
<configuration>
<!--指定hdfs保存数据副本的数量-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4.mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<configuration>
<!--指定hadoop运行在yarn上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5.vim yarn-site.xml
<configuration>
<!-- NodeManager获取数据的方法为shuffle的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定resourcemanage(yarn的管理器)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
</configuration>
6.配置Hadoop到系统环境变量
vim /etc/profile
export HADOOP_HOME=/usr/local/hadoop-2.2.0
export PATH=$PATH:$HADOOP_HOME/bin
source /etc/profile
7.格式化文件系统
hdfs namenode -format
输出：
......
INFO common.Storage: Storage directory /usr/local/hadoop-2.2.0/tmp/dfs/name has been successfully formatted
......
看到has been successfully formatted就是格式化成功了.
8.启动Hadoop
/usr/local/hadoop-2.2.0/sbin
单独启动start-dfs.sh和start-yarn.sh
或者一次启动start-all.sh(要多次输入密码)
9.查看是否启动
jps
[root@localhost sbin]# jps
5057 SecondaryNameNode
4807 NameNode
5191 ResourceManager
5338 NodeManager
5515 Jps
10.开放访问端口
设置开放50070t/50075/8088端口
firewall-cmd --add-port=50070/tcp --permanent
firewall-cmd --add-port=50075/tcp --permanent
firewall-cmd --add-port=8088/tcp --permanent
重新加载防火墙
firewall-cmd --reload
查看开放的端口
firewall-cmd --list-ports
结果：50070/tcp 8088/tcp 50075/tcp
11.访问
HDFS管理界面: http://192.168.83.128:50070
yarn管理界面: http://192.168.83.128:8088
2.上传文件到HDFS中和从系统中下载文件
上传：hadoop fs -put hadoop-2.2.0.tar.gz hdfs://192.168.83.128:9000/hadoop.tar.gz
下载：hadoop fs -get hdfs://192.168.83.128:9000/hadoop.tar.gz /usr/hadoop-2.2.0.tar.gz
3.多台机器之间ssh免登陆(本地启动hadoop也不用一直输入密码)
1.进入家目录： cd ~
2.进入ssh目录：cd .ssh/
3.生成密钥(确认时一直按enter即可)： ssh-keygen -t rsa
4.会生成两个文件：id_rsa(私钥) id_rsa.pub(公钥)
5.复制公钥文件为authorized_keys: cp id_rsa.pub authorized_keys (此步为本地启动hadoop也不用一直输入密码)
6.将本机中的authorized_keys复制到想要免登陆的机器上：ssh-copy-id 192.168.8.81(需要输入此机的密码)
7.测试ssh 192.168.8.81 (成功连接, 不需要密码)
总结：想要在哪台机器上免登陆就把自己的authorized_keys文件复制到对方机器的家目录下的.ssh文件夹下就行了
4.使用JAVA对HDFS系统中的文件增删查
千万记得开放端口 50010/tcp
其它开放了的端口 50070/tcp 8088/tcp 50075/tcp 9000/tcp
// 获得工具
FileSystem fs = FileSystem.get(new URI("hdfs://192.168.8.80:9000"), new Configuration(), "root");
// 从hdfs上下载文件
InputStream in = fs.open(new Path("/456.txt"));
OutputStream out = new FileOutputStream("E://456.txt");
IOUtils.copyBytes(in, out, 4096, true);
// 上传文件到hdfs上
InputStream in = new FileInputStream("E:/123.txt");
OutputStream out = fs.create(new Path("/456.txt"));
IOUtils.copyBytes(in, out, 4096, true);
// 从hdfs上下载文件
fs.copyToLocalFile(false,new Path("/456.txt"), new Path("E://789.txt"), true);
// 删除hdfs上的文件
fs.delete(new Path("/456.txt"));
// 删除hdfs上的文件夹(递归删除)
fs.delete(new Path("/456.txt"), true);
