1、SSH免密登录
$https://www.jianshu.com/p/2e7b920ce353
2、集群部署规划
| "" | node1 | node2 | node3 |
|---|---|---|---|
| HDFS | NameNode | "" | SecondaryNameNode |
| "" | DataNode | DataNode | DataNode |
| YARN | "" | ResourceManager | "" |
| "" | NodeManager | NodeManager | NodeManager |
3、基本配置文件
core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.8.2/data/tmp</value>
</property>
hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
export HADOOP_LOG_DIR=/opt/module/hadoop/logs
hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定secondarynamenode位置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node3:50090</value>
</property>
slaves
node1
node2
node3
尖叫提示： 必须手写保证没有空格，首次编辑用vim编辑器防止出现乱码
yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
export YARN_LOG_DIR=/opt/module/hadoop/logs
yarn-site.xml
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node2</value>
</property>
mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
4、在集群上分发以上所有文件
[victor@node1 ~]$ cd /opt/module/hadoop-2.8.2/
[victor@node1 hadoop-2.8.2]$ pwd
/opt/module/hadoop-2.8.2
[victor@node1 hadoop-2.8.2]$ rsync -rvl etc/hadoop/* victor@node2:/opt/module/hadoop-2.8.2/etc/hadoop/
[victor@node1 hadoop-2.8.2]$ rsync -rvl etc/hadoop/* victor@node3:/opt/module/hadoop-2.8.2/etc/hadoop/
5、查看文件分发情况
[victor@node3 hadoop-2.8.2]$ cat etc/hadoop/slaves
注意：查看每台机器的slaves
6、集群启动
(1) 如果集群是第一次启动，需要格式化namenode
[victor@node1 hadoop-2.8.2]$ bin/hdfs namenode -format
(2) 启动HDFS
[victor@node1 hadoop-2.8.2]$ sbin/start-dfs.sh
(3) 查看
[victor@node1 hadoop-2.8.2]$ jps
4163 NameNode
4484 Jps
4213 DataNode
[victor@node2 hadoop-2.8.2]$ jps
3268 DataNode
3298 Jps
[victor@node2 hadoop-2.8.2]$ jps
3321 DataNode
3383 SecondaryNameNode
3564 Jps
(4) 启动yarn
[victor@node2 hadoop-2.8.2]$ sbin/start-yarn.sh
注意：Namenode和ResourceManger如果不是同一台机器，不能在NameNode所在机器上启动 yarn，应该在ResouceManager所在的机器上启动yarn。
7、基本性能测试
$https://www.jianshu.com/p/1c2ad4dcac9a
