本文共计2458字，预计阅读时长六分钟
HBase总结
一、本质
HBase是一个开源的非关系型分布式数据库（NoSQL），运行于HDFS文件系统之上，因此可以容错地存储海量稀疏的数据。
二、HBase解决了什么问题
对比传统数据库的优势：
– 高可靠的海量数据存储
– 高并发读写
– 面向列，快速随机访问
– 线性扩展
– 数据存储在HDFS，备份机制完备
– 通过zk协调查找数据，并实现容错
三、应用场景
• 互联网搜索引擎数据存储
• 消息中心
• 内容服务系统（schema-free）
四、行存储和列存储
• 行存储
– 优点：写入一次性完成，保持数据完整性
– 缺点：数据读取过程中产生冗余数据，若有少量数据可以忽略
• 列存储
– 优点：读取过程，不会产生冗余数据，特别适合对数据完整性要求不高的大数据领域
– 缺点：写入效率差，保证数据完整性方面差
五、HBase的数据模型
• RowKey：是Byte array，是表中每条记录的“主键”，方便快速查找，Rowkey的设计非常重要。
• Column Family：列族，拥有一个名称(string)，包含一个或者多个相关列
• Column：属于某一个columnfamily，familyName:columnName，每条记录可动态添加
• Version Number：类型为Long，默认值是系统时间戳，可由用户自定义
• Value(Cell)：Byte array
• 三维有序：{rowkey => {family => {qualifier => {version => value}}}}
六、HBase建表
• 进入HBase
hbase shell
• 查看数据库状态
status
• 创建HBase表:create / list / describe
create 'music_table','meta_data','action'
• 修改Hbase表:disable / alter / drop / exists / enable
**
disable 'music_table'
alter 'music_table',{NAME=>'action',METHOD=>'delete'}
enable 'music_table'
七、HBase的逻辑&物理模型
7.1逻辑模型：
1)Hbase一张表由一个或多个Region(区域，范围)组成
2)记录之间按照Row Key的字典序排列
3)Region按大小分割的，每个表一开始只有一个Region，随着数据不断插入表，Region不断增大，当增大到一个阀值的时候，Region就会等分会两个新的Region。
7.2物理模型：
逻辑->物理
表 -> HTable
Region -> HRegion(分布在Region Servers)
Column Family -> HStore(memstore + HFiles)
• HRegion是Hbase中分布式存储和负载均衡的最小单元(HBase中的block)。
• 最小单元就表示不同的Hregion可以分布在不同的HRegion server上。
• 但一个Hregion是不会拆分到多个server上的。
• HRegion虽然是分布式存储的最小单元，StoreFile是存储的最小单元。
• WAL(Write-Ahead-Log)预写日志，是RegionServer在处理数据插入和删除的过程中用来记录操作内容的一种日志，每次操作前先将其数据写入到RegionServer对应的HLog文件。
八、HBase的系统架构
• Client
– 访问Hbase的接口，并维护Cache加速Region Server的访问
• Master
– 负载均衡，分配Region到RegionServer
• Region Server
– 维护Region，负责Region的IO请求
• Zookeeper
– 保证集群中只有一个Master(另一个是InactiveMaster)
– 保存HBase的部分信息：
– /hbase/root-region-server ，Root region的位置
– /hbase/table/-ROOT-，根元数据信息
– /hbase/table/.META.，元数据信息
– /hbase/master，当选的Mater
– /hbase/backup-masters，备选的Master
– /hbase/rs ，Region Server的信息
– /hbase/unassigned，未分配的Region
– 实时监控Region Server的上下线信息，并通知Master
九、HBase的容错
• Master容错：
Zookeeper重新选择一个新的Master，无Master过程中，数据读取仍照常进行region切分、负载均衡等无法进行
• Region Server容错：
定时向Zookeeper汇报心跳，如果一旦时间内未出现心跳，Master将该RegionServer上的Region重新分配到其他RegionServer上，失效服务器上WAL由主服务器进行分割，并派送给新的RegionServer
• 读写容错：
客户端往RegionServer端提交数据的时候，会写WAL日志，只有当WAL日志写成功以后，客户端才会被告诉提交数据成功，如果写WAL失败会告知客户端提交失败。
