构建大数据平台(五)Hbase集群搭建

一、前提:

(1)Hbase服务,是基于zookeeper的,虽然本身自带,但是在这里我们并不使用自带的,而是单独部署。

(2)Hbase使用稳定版本:hbase-1.3.1-bin.tar.gz;

(3)可在master上安装后,scp到其他slave机器上。

二、配置Hbase:

首先要注意在生产环境中目录结构要定义好,防止在项目过多的时候找不到所需的项目

  1. 目录统一放在/home下面 ,首先创建hbase项目目录
cd /home

#创建项目目录
mkdir hbase
cd /home/hbase
  1. 将 hbase-1.3.1-bin.tar.gz 放在 /home/hbase下,并解压缩,解压缩完成后可删除安装包:
#解压缩
tar -zxvf hbase-1.3.1-bin.tar.gz

#完成后可删除
rm -f hbase-1.3.1-bin.tar.gz
  1. 修改配置文件

(1)环境变量配置:
为方便以后操作,在/etc/profile文件中主要增加的内容是:

export  HADOOP_HOME=/home/hadoop/hadoop-2.9.0 
export  HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop  
export  HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native  
export  HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib"
export  ZK_HOME=/home/zookeeper/zookeeper-3.4.10  
export  HBASE_HOME=/home/hbase/hbase-1.3.1

PATH中增加:

export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HBASE_HOME}:${ZK_HOME}/bin:$PATH 

执行命令生效

source /etc/profile

(2)修改 hbase-env.sh:

在 /home/hbase/hbase-1.3.1/conf/hbase-env.sh 中找到配置文件注释的这行# export JAVA_HOME=/usr/java/jdk1.6.0/,在下面添加jdk环境变量:

export JAVA_HOME=/usr/local/java/jdk1.8.0_161

(3)修改配置文件hbase-site.xml:

<configuration>
    <property>  
        <name>hbase.rootdir</name>
        <value>hdfs://master:9000/hbase</value>
    </property> 
    <property>    
        <name>hbase.cluster.distributed</name>    
        <value>true</value>    
    </property> 
    <property>    
        <name>hbase.zookeeper.property.clientPort</name>    
        <value>2181</value>    
    </property>    
    <property>    
        <name>hbase.zookeeper.quorum</name>    
        <value>master,slave1,slave2,slave3</value>    
    </property>
    <property>    
        <name>dfs.support.append</name>    
        <value>true</value>    
    </property>
    <property>
        <name>hbase.zookeeper.property.dataDir</name>    
        <value>/home/zookeeper/zkdata</value>    
    </property>    
</configuration>

(4) 修改regionservers文件:
和与hadoop的slave文件相同
添加hadoop slave中的数据节点信息:

slave1
slave2
slave3

(5) 因为Hadoop和Hbase都调用slf4j-log4j,且都存在这个jar包。因此,删掉其中一个,避免冲突:

cd /home/hbase/hbase-1.3.1/lib/
rm -f slf4j-log4j12-1.7.5.jar

(6) 将安装配置好的hbase目录复制到所有slave节点中:

scp -r /home/hbase/ root@slave1:/home/
scp /etc/profile root@slave1:/etc/

scp -r /home/hbase/ root@slave2:/home/
scp /etc/profile root@slave2:/etc/

scp -r /home/hbase/ root@slave3:/home/
scp /etc/profile root@slave3:/etc/

说明:各slave节点,环境变量配置完后,要执行source /etc/profile才能生效。

(7)关闭所有节点的防火墙,防止hbase访问失败。

 #停止firewall
systemctl stop firewalld.service
 #禁止firewall开机启动
systemctl disable firewalld.service
#查看默认防火墙状态(关闭后显示notrunning,开启后显示running)
firewall-cmd --state 

 #停止iptables
service iptables stop
 #禁止iptables 开机启动
chkconfig iptables off 

三、启动Hbase:

启动的顺序一般是hadoop -> zookeeper -> hbase,停止顺序相反!
hbase只在master机器上启动就可以!

  1. 启动hbase集群,命令如下:
 cd /home/hbase/hbase-1.3.1/bin/
./start-hbase.sh
  1. 执行hbsae shell命令,进入hbase控制台:
[root@master bin]# hbase shell
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 1.3.1, r930b9a55528fe45d8edce7af42fef2d35e77677a, Thu Apr  6 19:36:54 PDT 2017

hbase(main):001:0> 
  1. 输入list命令,如果正常执行,表示hbase启动成功:
hbase(main):001:0> list
TABLE                                                                                        
0 row(s) in 0.4390 seconds

至此,Hbase集群搭建完成

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 221,576评论 6 515
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,515评论 3 399
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 168,017评论 0 360
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,626评论 1 296
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,625评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,255评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,825评论 3 421
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,729评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,271评论 1 320
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,363评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,498评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,183评论 5 350
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,867评论 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,338评论 0 24
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,458评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,906评论 3 376
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,507评论 2 359

推荐阅读更多精彩内容