黑猴子的家:HBase 分部式部署

1、部署Hadoop

https://www.jianshu.com/p/2d8518b19ee5

2、部署Zookeeper

https://www.jianshu.com/p/e04167aef33a

3、HBase解压到指定目录

[victor@node1 software]$ tar -xzvf  hbase-1.2.5-bin.tar.gz  -C /opt/module/

4、HBase的配置文件

hbase-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144
export HBASE_MANAGES_ZK=false
export HBASE_CLASSPATH=/opt/module/hbase/conf
export HBASE_LOG_DIR=/opt/module/hbase/logs

尖叫提示:如果使用的是JDK8及以上版本,则应在hbase-evn.sh中移除“HBASE_MASTER_OPTS”
和“HBASE_REGIONSERVER_OPTS”配置。

hbase-site.xml

<configuration>

    <!-- hbase存放在hdfs上的路径,端口要和hadoop的fs.defaultFS端口一致-->
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://node1:9000/hbase</value>
        <description> </description>
    </property>

    <!--是否分布式部署-->
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>

     <!-- 0.98后的新变动,之前版本没有.port,低版本默认端口为60000 -->
     <property>
         <name>hbase.master.port</name>
         <value>16000</value>
     </property>

     <!-- Zookeeper节点列表-->
     <property>
         <name>hbase.zookeeper.quorum</name>
         <value>node1:2181,node2:2181,node3:2181</value>
     </property>

     <!-- Zookeeper** **存储位置** **-->
     <property>
         <name>hbase.zookeeper.property.dataDir</name>
         <value>/opt/module/zookeeper-3.4.10/zkdata</value>
     </property>

</configuration>

尖叫提示:hbase-site.xml的默认配置文件地址
hbase-1.2.5\hbase-common\src\main\resources\hbase-default.xml

regionservers

node1
node2
node3

5、HBase需要依赖的Jar包

由于HBase需要依赖Hadoop,所以替换HBase的lib目录下的jar包,以解决兼容问题,有的版本默认支持,就不用替换

6、删除原有的jar

[victor@node1 ~]$ rm -rf /opt/module/hbase-1.2.5/lib/hadoop-*
[victor@node1 ~]$ rm -rf /opt/module//hbase-1.2.5/lib/zookeeper-3.4.6.jar

7、 拷贝新jar,涉及的jar有

hadoop-annotations-2.8.2.jar
hadoop-auth-2.8.2.jar
hadoop-client-2.8.2.jar **※**
hadoop-common-2.8.2.jar
hadoop-hdfs-2.8.2.jar
hadoop-mapreduce-client-app-2.8.2.jar
hadoop-mapreduce-client-common-2.8.2.jar
hadoop-mapreduce-client-core-2.8.2.jar
hadoop-mapreduce-client-hs-2.8.2.jar
hadoop-mapreduce-client-hs-plugins-2.8.2.jar
hadoop-mapreduce-client-jobclient-2.8.2.jar
hadoop-mapreduce-client-jobclient-2.8.2-tests.jar
hadoop-mapreduce-client-shuffle-2.8.2.jar
hadoop-yarn-api-2.8.2.jar
hadoop-yarn-applications-distributedshell-2.8.2.jar
hadoop-yarn-applications-unmanaged-am-launcher-2.8.2.jar
hadoop-yarn-client-2.8.2.jar
hadoop-yarn-common-2.8.2.jar
hadoop-yarn-server-applicationhistoryservice-2.8.2.jar
hadoop-yarn-server-common-2.8.2.jar
hadoop-yarn-server-nodemanager-2.8.2.jar
hadoop-yarn-server-resourcemanager-2.8.2.jar
hadoop-yarn-server-tests-2.8.2.jar
hadoop-yarn-server-web-proxy-2.8.2.jar
zookeeper-3.4.10.jar

尖叫提示:这些jar包的对应版本应替换成你目前使用的hadoop版本,具体情况具体分析。

8、查找jar包并拷贝

[victor@node1 ~]$ find /opt/module/hadoop-2.8.2/ -name hadoop-annotations*

尖叫提示:如果有jar包没找到可以通过maven下载后放进去,jar包在window和linux下都可以使用,
不区分环境

9、HBase软连接Hadoop配置

根据情况替换,有些版本不用替换

[victor@node1 ~]$ cd /opt/module/hbase-1.2.5/conf/

[victor@node1 conf]$ ln -s /opt/module/hadoop-2.8.2/etc/hadoop/core-site.xml \
core-site.xml

[victor@node1 conf]$ ln -s /opt/module/hadoop-2.8.2/etc/hadoop/hdfs-site.xml \
hdfs-site.xml

10、HBase远程scp到其它节点上

[victor@node1 module]$ scp -r hbase-1.2.5/ victor@node2:/opt/module/
[victor@node1 module]$ scp -r hbase-1.2.5/ victor@node3:/opt/module/

11、Zookeeper启动

首先保证Zookeeper集群的正常部署,并启动

[victor@node1 zookeeper-3.4.10]$ bin/zkServer.sh start

12、Hadoop启动

Hadoop集群的正常部署并启动
[victor@node1 hadoop-2.8.2]$ sbin/start-dfs.sh
[victor@node1 hadoop-2.8.2]$ sbin/start-yarn.sh

13、HBase启动

启动方式1

[victor@node1 hbase-1.2.5]$ bin/hbase-daemon.sh start master
[victor@node1 hbase-1.2.5]$ bin/hbase-daemon.sh start regionserver

启动方式2

[victor@node1 hbase-1.2.5]$ bin/start-hbase.sh

14、查看HBase页面

启动成功后,可以通过“host:port”的方式来访问HBase管理页面
http://node1:16010

尖叫提示:如果集群之间的节点时间不同步,会导致regionserver无法启动,
抛出ClockOutOfSyncException异常

修复HBase ClockOutOfSyncException异常 方式一

<property>
    <name>hbase.master.maxclockskew</name>
    <value>180000</value>
    <description>Time difference of regionserver from master</description>
</property>

修复HBase ClockOutOfSyncException异常 方式二

$https://www.jianshu.com/p/930bb81b3eb1
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 220,367评论 6 512
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,959评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 166,750评论 0 357
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,226评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,252评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,975评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,592评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,497评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,027评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,147评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,274评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,953评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,623评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,143评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,260评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,607评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,271评论 2 358

推荐阅读更多精彩内容

  • 简介 HBase是高可靠性,高性能,面向列,可伸缩的分布式存储系统,利用HBase技术可在廉价PC Serve...
    九世的猫阅读 2,195评论 1 6
  • 入门指南 1. 简介 Quickstart会让你启动和运行一个单节点单机HBase。 2. 快速启动 – 单点HB...
    和心数据阅读 4,586评论 1 41
  • 说明:不少读者反馈,想使用开源组件搭建Hadoop平台,然后再部署Kylin,但是遇到各种问题。这里我为读者部署一...
    大诗兄_zl阅读 2,083评论 0 2
  • Hadoop、HBase、Hive、Spark分布式系统架构,本文通过全套部署方法来让大家深入系统内部以充分理解...
    0o失魂鱼o0阅读 2,833评论 0 30
  • 童年出家上南山,起早摸黑参佛禅。 日晒雨淋狂风骤,三冬六月酷署寒。 神名护体金钟罩,铜头铁躯身不衰。 ...
    苍穹大觉者阅读 158评论 0 7