搭建Hadoop-HA + ZooKeeper + Yarn + Hive + HBase环境

前提:搭建Hadoop-HA + ZooKeeper + Yarn + Hive环境

node01 node02 node03 node04
NameNode01 NameNode02 NameNode03
DataNode01 DataNode02 DataNode03
JournalNode01 JournalNode02 JournalNode03
ZooKeeper01 ZooKeeper02 ZooKeeper03
ZooKeeperFailoverController01 ZooKeeperFailoverController02 ZooKeeperFailoverController03
ResourceManager01 ResourceManager02
NodeManager01 NodeManager02 NodeManager03
MySQL Server MetaStore Server Hive CLI
HMaster01(Backup) HMaster02 HMaster03 HMaster04
HRegionServer01 HRegionServer02 HRegionServer03
  1. 同步四台主机的时间

yum install ntpdate -y
ntpdate ntp1.aliyun.com

  1. 安装node01、node02、node03、node04上的HBase

tar -zxvf hbase-1.2.9-bin.tar.gz -C /opt/hbase/

  1. 配置node01、node02、node03、node04上的HBase

在node04上修改/opt/hbase/hbase-1.2.9/conf/hbase-env.sh
vim /opt/hbase/hbase-1.2.9/conf/hive-env.sh
添加:
export JAVA_HOME=/usr/java/jdk1.8.0_172-amd64
export HBASE_MANAGES_ZK=false
在node04上修改/opt/hbase/hbase-1.2.9/conf/hbase-site.xml
vim /opt/hbase/hbase-1.2.9/conf/hbase-site.xml
添加:

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://automaticHACluster/hbase</value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>node02:2181,node03:2181,node04:2181</value>
  </property>
</configuration>

在node04上修改/opt/hbase/hbase-1.2.9/conf/regionservers
vim /opt/hbase/hbase-1.2.9/conf/regionservers
添加:

node01
node02
node03

在node04上修改/opt/hbase/hbase-1.2.9/conf/backup-masters
vim /opt/hbase/hbase-1.2.9/conf/backup-masters
添加:

node01

将node04上的/opt/hadoop/hadoop-3.1.1/etc/hadoop/hdfs-site.xml拷贝到node04上的/opt/hbase/hbase-1.2.9/conf
cp /opt/hadoop/hadoop-3.1.1/etc/hadoop/hdfs-site.xml /opt/hbase/hbase-1.2.9/conf
将node04上的/opt/hbase拷贝到node01、node02、node03:
scp -r /opt/hbase node01:/opt && scp -r /opt/hbase node02:/opt && scp -r /opt/hbase node03:/opt

  1. 配置node01、node02、node03、node04上的环境变量

在node01、node02、node03、node04上修改/etc/profile
vim /etc/profile
添加:

export HBASE_HOME=/opt/hbase/hbase-1.2.9
export PATH=$PATH:$HBASE_HOME/bin

在node01、node02、node03、node04上运行:
. /etc/profile

  1. 启动HBase服务端

在node04上运行(在哪个节点上运行,哪个节点上就会有HMaster):
start-hbase.sh

  1. 查看进程

在node01、node02、node03、node04上运行:
jps

  1. 访问网页
HMaster04:http://192.168.163.194:16010
HMaster01:http://192.168.163.191:16010
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容