hadoop各个节点角色定义
master 和 slave
name node 和 data node： name node 目录管理者
从map reduce的角度划分
hadoop安装部署
三种运行模式：
- 单机模式
- 伪分布模式
- 完全分布模式
伪分布式安装
- 下载hadoop
url: http://hadoop.apache.org/#Download+Hadoop
http://hadoop.apache.org/releases.html
可以复制要下载的链接，然后再linux命令行下用wget下载
wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0-src.tar.gz
- 安装hadoop
1.将下载下来的 hadoop-2.8.0-src.tar.gz 拷贝到指定目录
2 . tar zxvf hadoop-2.8.0-src.tar.gz
3 . rm hadoop-2.8.0-src.tar.gz
- 配置hadoop
修改 ~/.bashrc, 在底部新增：
export HADOOP_HOME=/opt/hadoop-1.2.1
export PATH=${HADOOP_HOME}/bin:$PATH
保存后
source ~/.bashrc
伪分布式需要操作四个文件： hadoop-env.sh、core-site.xml、mapred-site.xml 以及 hdfs-site.xml
1）. 配置 hadoop-env.sh
在配置文件中找到JAVA_HOME关键字所在的行，把前面的#号去掉，然后填写实际的JAVA_HOME地址.
2 ) . 配置core-site.xml
加入如下内容：
<!--指定namenode的地址-->
<property>
<name>fs.default.name</name>
<value>hdfs://127.0.0.1:9000</value>
</property>
<!--用来指定使用hadoop时产生文件的存放目录, 该目录必须预先手动创建-->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/leo/hadoopdata</value>
</property>
3 ）. 配置 hdfs-site.xml
<configuration>
<!--指定hdfs保存数据的副本数量-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4 ) . 配置mapred-site.xml
<configuration>
<!--告诉hadoop以后MR运行在YARN上-->
<property>
<name>mapreduce.job.tracker</name>
<value>127.0.0.1:9001</value>
</property>
</configuration>
运行 hadoop version。
leo@ubuntu:~$ hadoop version
Warning: $HADOOP_HOME is deprecated.
Hadoop 1.2.1
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152
Compiled by mattf on Mon Jul 22 15:23:09 PDT 2013
From source with checksum 6923c86528809c4e7e6f493b6b413a9a
This command was run using /opt/hadoop-1.2.1/hadoop-core-1.2.1.jar
修改~/.bashrc， 增加
export HADOOP_HOME_WARN_SUPPRESS=1
保存成功后：
source ~/.bashrc
- 启动hadoop
hadoop namenode -format
检查运行结果有没有错误。
如果出现找不到namenode之类的。请使用命令检查
more /etc/hosts
运行 start-all.sh 启动hadoop
使用jps名称检查运行的进程
- 运行hadoop
hadoop fs ls /
hadoop fs -mkdir input
hadoop fs -put /home/leo/file/* input
