HBase 计数器

HBase 高级功能:计数器,可以用于实时统计,而不需要离线批量处理。HBase 有一种机制可以将列当作计数器,支持原子操作,否则用户需要对一行数据加锁,在进行读取更新操作,会引起大量的资源竞争问题。

HBase Client API 提供了专门的方法完整这种读取并修改的操作,在单独的一次客户端调用中保证原子性。早期的 HBase 版本会在每次计数器更新操作调用一次 RPC 请求,新版本中可以在一次 RPC 请求中完成多个计数器的更新操作,但是多个计数器必须在同一行。

计数器使用 Shell 命令行

计数器不需要初始化,创建一个新列时初始值为0,第一次 incr 操作返回1。

计数器使用 incr 命令,增量可以是正数也可以是负数,但是必须是长整数 Long:

incr '<table>','<row>','<column>',['<increment-value>']

计数器使用的例子:

hbase(main):001:0> create 'counters','daily','weekly','monthly'
0 row(s) in 1.2260 seconds

hbase(main):002:0> incr 'counters','20190301','daily:hites',1
COUNTER VALUE = 1

hbase(main):003:0> incr'counters','20190301','daily:hites',1
COUNTER VALUE = 2

hbase(main):004:0> get_counter 'counters','20190301','daily:hites'
COUNTER VALUE = 2

需要注意的是,增加的参数必须是长整型 Long,如果按照错误的格式更新了计数器(如字符串格式),下次调用 incr 会得到错误的结果:

hbase(main):005:0> put 'counters','20190301','daily:clicks','1'
0 row(s) in 1.3250 seconds

hbase(main):006:0> incr'counters','20190301','daily:clicks',1
COUNTER VALUE = 3530822107858468865

单计数器 Java API

操作一个计数器,类似 shell 命令 incr

HTable table  = new HTable(conf, "counters");

long cnt1 = table.incrementColumnValue(Bytes.toBytes("20190301"),
    Bytes.toBytes("daily"),
    Bytes.toBytes("hits"),
    1L);
    
long cnt2 = table.incrementColumnValue(Bytes.toBytes("20190301"),
    Bytes.toBytes("daily"),
    Bytes.toBytes("hits"),
    1L); 

多计数器 Java API

使用 Table 的 increment() 方法可以操作一行的多个计数器,需要构建 Increment 实例,并且指定行键:

HTable table  = new HTable(conf, "counters");

Increment incr1 = new Increment(Bytes.toBytes("20190301"));
incr1.addColumn(Bytes.toBytes("daily"), Bytes.toBytes("clicks"),1);
incr1.addColumn(Bytes.toBytes("daily"), Bytes.toBytes("hits"), 1);
incr1.addColumn(Bytes.toBytes("weekly"), Bytes.toBytes("clicks"), 2);
incr1.addColumn(Bytes.toBytes("weekly"), Bytes.toBytes("hits"), 2);

Result result = table.increment(incr1);
for(Cell cell : result.rawCells()) {
    // ...
}

Increment 类还有一种构造器:

Increment(byte[] row, RowLock rowLock)

rowLock 参数可选,可以设置用户自定义锁,可以限制其他写程序操作此行,但是不保证读的操作性。


References:
《HBase 权威指南》

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 一、简介 Hbase:全名Hadoop DataBase,是一种开源的,可伸缩的,严格一致性(并非最终一致性)的分...
    菜鸟小玄阅读 7,108评论 0 12
  • Zookeeper用于集群主备切换。 YARN让集群具备更好的扩展性。 Spark没有存储能力。 Spark的Ma...
    Yobhel阅读 12,069评论 0 34
  • 本文首先简单介绍了HBase,然后重点讲述了HBase的高并发和实时处理数据 、HBase数据模型、HBase物理...
    达微阅读 7,634评论 1 13
  • [TOC] 摘录一 hbase.rootdir 这个目录是region server的共享目录,用来持久化HBas...
    昨夜今夕阅读 13,859评论 1 8
  • 很多时候, 我们会把食物当做情绪安慰剂, 特别是当我们感到焦虑 或者抑郁 甚至只是无聊的时候。 让事情慢下来, 并...
    小鱼儿的鱼缸阅读 1,807评论 0 0