HBASE简介和安装

列式数据库与行式数据库

区别
列式数据库大大减少磁盘io

从上面可以看出,列式数据库和行式数据库各自有着自己的优点。传统数据库如:oracle、mysql都是行式。它们适合用于实时的业务系统(OLTP),对数据进行增删改查。而列式数据库如:hbase。适合用于离线数据分析系统(OLAP)。对数据进行大规模存储和离线分析。对方的优点恰恰也是自己的缺点,在真实的业务场景中,这两类数据库都起着至关重要的作用。

hbase

hbase是一种高可靠、高性能、面向列、可伸缩的分布式存储系统。
主要优点有:可线性拓展,数据量的增多可以通过节点拓展进行支持。数据存储在hdfs上,备份机制健全。通过zookeeper协调查找数据,访问速度快。
集群角色:Hmaster(一个或多个主节点),HregionServer(多个子节点)。
面向行式的可以做多表关联,(主键,外键),而面向列式的不可以。
hbase:列式,分布式。实际可看做一个缓存层。用来存海量数据。
可以线性拓展,数据存在hdfs上,备份机制健全。通过zookeeper协调查找数据,访问速度快。
hdfs只能做文件存储,不能做数据存储。外部写入日志时先写入hbase达到128M时再存入hdfs。

  • hbase的安装:
  1. 上传、解压、重命名、修改环境变量、修改配置文件、分发到其他节点
rz 选择上传
tar -zxvf hbase-0.99.2-bin.tar.gz 
rm -rf hbase-0.99.2-bin.tar.gz
mv hbase-0.99.2 hbase
  1. 文件配置:
1.hbase-env.sh
export JAVA_HOME=/apps/jdk1.7.0_45
export JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HBASE_OPTS="-XX:+UseConcMarkSweepGC"
export HBASE_MANAGES_ZK=false

2.hbase-site.xml
<configuration>
<property>
<name>hbase.master</name>
<value>mini1:60000</value>
</property>
<property>
<name>hbase.master.maxclockskew</name>
<value>180000</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://mini1:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>mini1,mini2,mini3</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hadoop/zkdata</value>
</property>
</configuration>

3.regionservers
mini1
mini2
mini3

4.再拷入hadoop的配置文件:core-site.xml、hdfs-site.xml
  1. 环境变量的配置:
su root
export HBASE_HOME=/home/hadoop/hbase
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/
bin(bin可执行文件。sbin启动脚本。)

source /etc/profile,在这一步有两台机器报错:bash: bin: command not found,尝试了很多网上说的方法都没有解决。最后解决办法:从别的机器拷贝了一份profile文件scp /etc/profile root@mini2:/etc/……

  • 启动hbase
    bin/start-hbase.sh
    在这里遇到了一个让人头痛的情况,Hmaster,Hregionserver启动了之后一下就没了。试了很多方法,其实是自己配置文件没有写好……这里要注意hdfs://mini1:9000/hbase这个地址的写法。
    同步时间:
date -s 08/20/2017
date -s 15:34:00
clock –r(查看硬件时间) 
clock –w(把本地时间写入硬件)

打开web监控界面:
首先访问http://mini1:60010进不去。
各种看网上别怎么说……关闭了hadoop的安全模式:hadoop dfsadmin -safemode leave,好像毫无作用。折腾好久后发现端口是16030。

双主节点的启动:
local-master-backup.sh start 2
添加hbase节点:
1.复制原子节点到新节点上
2.hbase-daemon.sh start regionserver
删除子节点:

zookeeper/bin/zkCli.sh
ls /hbase/rs
kill -9 xxx
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,657评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,662评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,143评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,732评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,837评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,036评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,126评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,868评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,315评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,641评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,773评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,859评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,584评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,676评论 2 351

推荐阅读更多精彩内容

  • 入门指南 1. 简介 Quickstart会让你启动和运行一个单节点单机HBase。 2. 快速启动 – 单点HB...
    和心数据阅读 4,524评论 1 41
  • HBase那些事 @(大数据工程学院)[HBase, Hadoop, 优化, HadoopChen, hbase]...
    分痴阅读 3,932评论 3 17
  • 1. HBase介绍,Hbase是什么? HBase -- Hadoop Database ,是一个高可靠、高性能...
    奉先阅读 3,732评论 1 36
  • 一、HBase简介 Hbase是什么 HBase是一种构建在HDFS之上的分布式、面向列、多版本、非关系型的数据库...
    便利蜂数据平台阅读 972评论 0 4
  • 最近在逐步跟进Hbase的相关工作,由于之前对Hbase并不怎么了解,因此系统地学习了下Hbase,为了加深对Hb...
    飞鸿无痕阅读 50,203评论 19 272