1.环境前置说明:
MAC电脑:自带的ssh终端
Windws系统:CRT,XShell客户端
远程服务器:CentOS 6.7
三台主机名为:
hdp-sk-01
hdp-sk-02
hdp-sk-03
hadoop-machine(192.168.21.166)
是远程服务器的hostname
如果想在本地通过ssh hadoop@hadoop-machine
远程登录,
那么本地的hosts肯定要添加ip和hostname的映射
192.168.21.166 hadoop-machine
2.JDK的安装
生产环境约定把软件包放在用户目录的
~/software/
下,
将所有的软件都安装到~/app
,cd
到software
目录下,执行tar -zxvf jdk-8u91-linux-x64.tar.gz -C ~/app/
建议将jdk的bin目录配置到系统环境变量中:
~/.bash_profile
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91
export PATH=$JAVA_HOME/bin:$PATH
- 让系统环境变量生效
source ~/.bash_profile
- 验证
java -version
3.ZooKeeper安装
- 下载ZK的安装包:
wget http://archive.cloudera.com/cdh5/cdh/5/
解压:tar -zxvf zookeeper-3.4.5-cdh5.7.0.tar.gz -C ~/app/
- 建议
ZK_HOME/bin
添加到系统环境变量:~/.bash_profile
export ZK_HOME=/home/hadoop/app/zookeeper-3.4.5-cdh5.7.0
export PATH=$ZK_HOME/bin:$PATH
- 让系统环境变量生效
source ~/.bash_profile
- 修改ZK的配置:
cp zoo_sample.cfg zoo.cfg
vi $ZK_HOME/conf/zoo.cfg
dataDir=/home/hadoop/app/tmp/zookeeper
- 新增:
server.0=hdp-sk-01:2888:3888
server.1=hdp-sk-02:2888:3888
server.2=hdp-sk-03:2888:3888
- 设置标识号
mkdir -p ~/app/tmp/zookeeper
cd ~/app/tmp/zookeeper
vi myid
0
- 在另外两个节点上按照上述步骤配置zk,使用
scp
将zk和.bash_profile
拷贝到hdp-sk-02
和hdp-sk-03
上。
唯一的区别是hdp-sk-02
和hdp-sk-03
的标识号分别设置为1和2。
4. 启动zk:
cd $ZK_HOME/bin/
zkServer.sh start
分别在三台机器上执行:zkServer.sh start
检查ZooKeeper状态:zkServer.sh status
,应该是一个leader
,两个follower
jps验证:检查三个节点是否都有QuromPeerMain
进程。
多了一个QuorumPeerMain
进程,就表示zk启动成功了。
jps -l
和jps -m
的区别
jps -m
28768 NameNode
28865 DataNode
29204 ResourceManager
73253 QuorumPeerMain /home/feiyue/app/zookeeper-3.4.5-cdh5.7.0/bin/../conf/zoo.cfg
73334 Jps -m
29053 SecondaryNameNode
jps -l
28768 org.apache.hadoop.hdfs.server.namenode.NameNode
28865 org.apache.hadoop.hdfs.server.datanode.DataNode
29204 org.apache.hadoop.yarn.server.resourcemanager.ResourceManager
73253 org.apache.zookeeper.server.quorum.QuorumPeerMain
73351 sun.tools.jps.Jps
29053 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode
ZK四字命令
todo