Hbase的安装和配置

Hbase简介

Hbase概述

Hbase原型是Google的BigTable论文,受到了改论文思想的启发,目前作为Hadoop的子项目来开发维护,用于支持结构化的数据存储。
Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用Hbase技术可以在廉价的服务器上搭建起大规模的结构化存储集群。
Hbase的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能处理由成千上万的行和列所组成的大型数据。
Hbase的核心是能够实现在HDFS中数据的随机读写。

Hbase的特点:

海量存储、列式存储(列族存储)、极易扩展、高并发、稀疏(列族中可以制定任意多的列,列数据可以为空,并且该情况下不会占用存储空间)

  • 没有真正的索引:行是顺序存储的,每行中的列也是,所以不存在索引膨胀的问题,而且插入性能和表的大小无关。
  • 自动分区:在表增长的时候,表会自动分裂成区域,并分布到可用的节点上。
  • 线性扩展和对于新节点的自动处理:增加一个节点,把它指向现有集群并运行regionserver。区域自动重新进行平衡,负载均匀分布。
  • 普通商用硬件支持:集群可以用1000~5000美金的单个节点搭建,而不需要使用单个5万美金的节点。RDBMS需要支持大量I/O,因此要求更昂贵的硬件。
  • 容错:大量节点意味着每个节点的重要性并不突出。不用担心单个节点失效。
  • 批处理 MapReduce集成功能使我们可用全并行的分布式作业根据“数据的位置”来批处理它们。

Hbase结构

DataNode是管理存储数据的进程,并不是实质的存储节点。
使用Hbase必须先启动Hadoop和ZooKeeper,用来支持HDFS存储数据和高可用,高可用是NameNode做集群并将元数据存储在ZooKeeper中。

Hbase的分布式安装部署

集群规划:三台服务器上部署Hbase集群,基于前面的文章中已经部署的Hadoop、ZooKeeper环境的三台虚拟机。
打开Hbase官方网站https://hbase.apache.org/

Hbase官方网站.png

选择版本进行下载,此处选择的是hbase-2.0.5
hbase安装00.png

一定要选择已经安装的Hadoop版本兼容的Hbase版本进行下载安装,官方网站可查询到每个HBase版本支持的Hadoop版本。
将压缩包使用Xftp上传hadoop-1的/usr目录下:
hbase安装01.png

进入/usr目录,使用tar命令将压缩包进行解压,执行命令:

# tar zxvf hbase-2.0.5-bin.tar.gz
hbase安装02.png

解压完成后会在/usr目录下生成hbase-2.0.5目录:


hbase安装03.png

进入Hbase的配置文件目录,并查看该目录下的文件:

# cd hbase-2.0.5/conf/
# ll
hbase安装04.png

使用vim编辑配置文件hbase-env.sh,更改内容如下:


hbase安装06.png

使用vim编辑配置文件hbase-site.xml,更改内容如下:


hbase安装07.png

配置文件参数说明:
配置项 说明
hbase.rootdir hdfs://hadoopnn:9000/hbase_db region servers共享的目录
hbase.cluster.distributed true 值为true则是分布式模式
hbase.zookeeper.quorum hadoopnn,hadoopdn1,hadoopdn2 使用逗号分隔的ZooKeeper集合中的服务器列表
hbase.zookeeper.property.clientPort 2181 客户端将连接的端口
hbase.zookeeper.property.dataDir /usr/hbase-2.0.5/zk_data 快照存储的目录
hbase.tmp.dir /usr/hbase-2.0.5/tmp 本地文件系统上的临时目录

使用vim编辑配置文件regionservers,更改内容如下:


hbase安装08.png

然后将/usr目录下的hbase-2.0.5远程拷贝到hadoop-2和hadoop-3主机的/usr目录下:

# scp -r /usr/hbase-2.0.5 hadoop-2:/usr
# scp -r /usr/hbase-2.0.5 hadoop-3:/usr
hbase安装09.png

在hadoop-1主机上执行start-all.sh启动hadoop集群,jps命令查看hadoop-1上的启动了NameNode等进程:


hbase安装11.png

hadoop-2和hadoop-3上启动了DataNode等进程:


hbase安装12.png

分别在三台主机上按照顺序启动ZooKeeper集群:
# zkServer.sh start
hbase安装13.png

hbase安装14.png

hbase安装15.png

并使用jps命令查看ZooKeeper集群启动成功。
在三台主机上分别使用vim编辑环境变量,更改内容如下:

# vim /etc/profile
hbase安装05.png

保存退出,执行命令是修改生效:

# source /etc/profile

执行start-hbase.sh启动hbase集群:

# start-hbase.sh

hbase安装16.png

并使用jps查看进程,hadoop-1中启动了HMaster进程,hadoop-2和hadoop-3中启动了HRegionServer进程,hbase集群启动成功。
hbase安装17.png

hbase安装18.png

在浏览器中输入:http://192.168.44.128:16010,即可打开Hbase的web页面:
hbase安装19.png

hbase安装20.png

Hbase集群是HMaster管理整个集群,为了实现HMaster的高可用,可以在集群的其他主机上启用备份HMaster服务,每个集群最多可以启动9个备份HMaster服务:

# local-master-backup.sh start 2

2为默认端口的偏移量,每个HMaster使用两个端口(默认为16000和16010),例如在hadoop-2执行该命令,则备份HMaster服务的端口为16012。
此时在浏览器中打开备份服务的ip:16012,即可看到集群中的HMaster的状态信息。
若要终止备份HMaster服务,需要查看该备份服务的PID,然后使用kill -9杀死该进程即可。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,951评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,606评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,601评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,478评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,565评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,587评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,590评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,337评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,785评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,096评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,273评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,935评论 5 339
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,578评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,199评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,440评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,163评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,133评论 2 352

推荐阅读更多精彩内容