HBase是基于HDFS之上的，也可以采用存储本地模式，HBase是分布式数据库，将数据分为多份，同时是面向列的数据库，是bigtable的实现。

HBase会将随机读写转化为顺序读写，适合高并发的写入，没有数据的列是不占空间，同时在HDFS具有很好的容错性，某台服务器丢失，不会影响集体。

一个表可以存10亿行，数据的单一性，数据全为string类型。查询效率高。

专业术语与数据模型

rowkey主键

查询的三种方式，可以指定rowkey查询，指定rowkey范围，scan全表扫描

column Family列族

一个列簇可以包含多个列，一个列只能属于一个列簇，没数据类型，用二进制存储

时间戳和存储单元

每一个存储单元中会存储多个版本的数据，类似于MAP

。。。。

‘列名称’， ‘值’

delete '表名称'，‘行名称’，‘列名称’

删除表

disable drop

查看某列

scan '表名称'，｛colunm=>'列族：列名'｝

create_namespace创建命名空间

scan的详细用法

搜索一个表的某一列

scan ‘.META.', {COLUMNS => ‘info:regioninfo'}

搜索一个表的c1和c2列，输出从xyz开始的10行数据

scan ‘t1′, {COLUMNS => ['c1', 'c2'], LIMIT => 10, STARTROW=> ‘xyz'}

搜索一个表中创建时间在1303668804,1303668904之间的数据

scan ‘t1′, {COLUMNS => ‘c1′, TIMERANGE => [1303668804,1303668904]}

hbase> scan ‘t1′, {FILTER => “(PrefixFilter (‘row2′)AND (QualifierFilter (>=, ‘binary:xyz'))) AND (TimestampsFilter( 123, 456))”}

hbase> scan ‘t1′, {FILTER =>org.apache.hadoop.hbase.filter.ColumnPaginationFilter.new(1, 0)}

搜索值为188的数据列

scan 'test1', FILTER=>"ValueFilter(=,'binary:188')"

搜索包含88的数据列

scan 'test1', FILTER=>"ValueFilter(=,'substring:88')"

搜索列族c2同时值包含88的用户

scan 'test1', FILTER=>"ColumnPrefixFilter('c2') ANDValueFilter(=,'substring:88')"

搜索列族为s同时包含123和222的用户

scan 'test1', FILTER=>"ColumnPrefixFilter('s') AND (ValueFilter(=,'substring:123') OR ValueFilter(=,'substring:222') )

搜索rowkey开头为user1的用户

scan 'test1', FILTER => "PrefixFilter ('user1')"

从user1|ts2开始,找到所有的rowkey以user1开头的

scan 'test1', {STARTROW=>'user1|ts2', FILTER => "PrefixFilter('user1')"}

查询rowkey里面包含ts3的

import org.apache.hadoop.hbase.filter.CompareFilter

import org.apache.hadoop.hbase.filter.SubstringComparator

import org.apache.hadoop.hbase.filter.RowFilter

scan 'test1', {FILTER =>RowFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'),SubstringComparator.new('ts3'))}

使用正则查询

scan 'test1', {FILTER =>RowFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'),RegexStringComparator.new('^user\d+\|ts\d+$'))}

HBase Java

1.修改pom依赖

将仓库地址修改为mavenCDH

2.导入HBase依赖，以及Hadoop依赖

3.读取配值文件使用，HBaseConfiguration.create()

4.获得表的操作对象HBaseAdmin

5.createTab()创建表，同时表Bytes.toBytes('')转化

6.关闭资源

创建共用方法获取表

扫描器

Scan scan = new Scan();

scan.getScan,返回迭代器，打印结果

遍历结果集CellUtil

过滤器

创建过滤器

columnPrefixFilter前缀过滤器，Pagefilter分页过滤器，ByteArrayCompare

HBase数据存储

HRegion Server

Hlog文件日志文件

Region文件存数据在内存，当达到一定容量会创建store文件，会存在磁盘中

Client中delete是打入标签，不是真正的删除。

HRegion Server管理一列RegionServer,HBase的存储单元是列族

1.client写数据到MemStore,当数据量达到一定值后通过Flush,将数据保存到磁盘中StoreFile中，当StoreFile达到一定量值后，触发Compact操作，合并为一个文件，当数据达到一定量，触发split操作，分割为两个Region,两个region下线，由regionServer管理,同时删除一些存储空间（比如被delete标记的文件），会创建新的region

更新和添加都是在compact阶段。

HBase 自带MapReduce程序

1.导入Hadoop与Hbase的环境变量

2.使用HBase-server-cdh.jar中方法导入数据

Hive集成Hbase

Hive是存储在HDFS中，将SQL语句转化为MapReduce中的，通过Hive将表添加到HBase,Hive进行复杂的数据分析，同过HBase进行快速实时查询

hive整合Hbase

hive映射Hbase的表0.90,0.92上

Storage Headlers,Hbase所有jar包，拷贝到hive中即可

Hive表中的域都存储在HBase中，但是Hive表不需要包含Hbase中所有的列

方法：

直接拷贝hbase中的所有jar包到hive中，直接重启hive

创建hive表映射Hbase,指定存储headler和映射关系，hbase中表名称

HBase的集群调优

内存越大越好，不要低于32G,64位机器，swap减少或设置为0，scancaching调大，将超时时间调长，将线程数调大

HBase的Rest

找到restapi的使用指南后，执行以下命令启动RESTServer：

bin/hbase rest start -p4444 #端口自己指定即可

TResult对单行（Row）及其查询结果(若干colunmvalue)的封装

TGet对查询一行(row)的封装，可以设置行内的查询条件

TPut与TGet一样，只是它是写入若干“列”

TDelete与TGet一样，只是它是删除若干“列”

TScan对查询多行和多列的封装，有点类似于“cursor”

TRowMutations实际上是若干个TDelete和TPut的集合，完成对一行内数据的“原子”操作

python使用thrift连接Hbase

from thrift import Thrift

from thrift.transport import TSocket

from thrift.transport import TTransport

from thrift.protocol import TBinaryProtocol

from hbase import Hbase

from hbase.ttypes import *

transport = TSocket.TSocket('localhost', 9090);

transport = TTransport.TBufferedTransport(transport)

protocol = TBinaryProtocol.TBinaryProtocol(transport);

client = Hbase.Client(protocol)

transport.open()

contents = ColumnDescriptor(name='cf:', maxVersions=1)

client.createTable('test', [contents])

print client.getTableNames()

sqoop的使用

import

-D

sqoop.hbase.add.row.key=true

--connect

jdbc:mysql://192.168.1.9:3306/spider

--username

root

--password

root

--table

TEST_GOODS

--columns

ID,GOODS_NAME,GOODS_PRICE

--hbase-create-table

--hbase-table

tt_goods

--column-family

cf

--hbase-row-key

ID

--where

ID>=5

-m

注：参数含义解释

-D sqoop.hbase.add.row.key=true是否将rowkey相关字段写入列族中，默认为false，默认情况下你将在列族中看不到任何rowkey中的字段。注意，该参数必须放在import之后。

--connect数据库连接字符串

--username –password mysql数据库的用户名密码

--table Test_Goods表名，注意大写

--hbase-create-table如果hbase中该表不存在则创建

--hbase-table对应的hbase表名

--hbase-row-key hbase表中的rowkey,注意格式

--column-family hbase表的列族

--where导入是mysql表的where条件，写法和sql中一样

--split-by CREATE_TIME默认情况下sqoop使用4个并发执行任务，需要制订split的列，如果不想使用并发，可以用参数--m 1

importTsv的使用

hbase org.apache.hadoop.hbase.mapreduce.ImportTsv'-Dimporttsv.separator=,' -Dimporttsv.columns='HBASE_ROW_KEY,city'-Dimporttsv.bulk.output=/user/yarn/output user_info /user/yarn

-Dimporttsv.skip.bad.lines=false –若遇到无效行则失败

-Dimporttsv.separator=| –文件中代替tabs的分隔符

-Dimporttsv.columns=HBASE_ROW_KEY,city输入行的格式

-Dimporttsv.timestamp=currentTimeAsLong –导入时使用指定的时间戳

-Dimporttsv.mapper.class=my.Mapper –使用用户指定的Mapper类来代替默认的

-Dimporttsv.bulk.output=/user/yarn/output作业的输出目录

hbaseorg.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles/user/yarn/outputuser_info

Hbase WEB

hmaseter提供的默认端口16010 RegionServer16030

可以使用hbase的compact和split

HBase冷备所有设备停掉，HBase热备不需要停掉设备，可以实现增量备份

export可以将指定的表导出到hdfs中也可以到本地，一个region导出一个文件，导出的过程可以使用压缩，再倒回表需要先创建表。

copytable进行复制，实际调用mapreduce进行扫描拷贝

HBase的集群复制

什么是集群复制？

跨集群实现复制，通过WAL实现，可以选某些表，或者选择一些列族

集群复制采用主集群推送的方式

Phoenix连接Hbase交互

Phoenix是一个关系数据库层，相当于Java的中间件，Phoenix在高并发和低延时上不行

Phoenix支持全局索引，本地索引，函数索引，三种索引方式，

同时支持CSV加载到表中，使用的是bulkload工具

提供查询服务器，trace轨迹追踪

支持序列的特性，提供统计信息的收集

jion连接，支持多租户，分页查询，动态列，跳跃扫描，散步表

insert使用upsert

使用phoenix

./sqlline.py localhost打开phoenix的客户端

相比之下HBase快照允许管理员不拷贝数据，而直接克隆一张表，这对域服务器产生的影响最小。

使用ExportSnapshot工具将现有快照导出至其他集群。导出工具不会影响到域服务器负载，只是工作在HDFS层面，所以需要指定HDFS路径（其他集群的hbase根目录）。

Hbase的快速使用

推荐阅读更多精彩内容