Hbase性能调优

client端

HTable.setAutoFlush(false) 关闭客户端自动刷新

HTable.setWriteBufferSize(writeBufferSize)

设置HTable客户端的写buffer大小，与上面的参数配合使用。当达到设置的writeBufferSize时，才会触发提交到服务端的请求。（不适合实时读写业务）

Put.setWriteToWAL(false) 关闭WAL日志

客户端向集群中的RegionServer提交PUT数据时，首先会先写WAL（Write Ahead Log）日志（即HLog），只有当WAL日志写成功后，再接着写MemStore，然后客户端被通知提交数据成功；如果写WAL日志失败，客户端则被通知提交失败。这样做的好处是可以做到RegionServer宕机后的数据恢复。

关闭WAL可提升写入性能，但是一旦RegionServer宕机，Put的数据将会无法根据WAL日志进行恢复。

批量PUT（put(List)），多线程写入。根据业务选择。

在spark写入hbase时，可以使用Mapreduce的方式，具体参考api saveAsHadoopDataset。

server端

server端写入数据流程

从zookeeper中的meta表获取region信息，根据表名，rowkey找到对应的regionserver。

数据写到HLog（参考client端的关闭WAL日志操作）和Memostore

MemStore达到一个阈值后则把数据刷成一个StoreFile文件。若MemStore中的数据有丢失，则可以总HLog上恢复

当多个StoreFile文件达到一定的大小后，会触发Compact合并操作，合并为一个StoreFile，这里同时进行版本的合并和数据删除

当Compact后，逐步形成越来越大的StoreFile后，会触发Split操作，把当前的StoreFile分成两个，这里相当于把一个大的region分割成两个region

根据上述流程，server调优可选参数如下：

Heapsize

增加hbase内存是提升性能最重要的参数，但是具体方案和业务相关(简单说来主要包括读多写少型和写多读少型)，配置时考虑到底使用BucketCache还是使用LRUBlockCache模式。

配置参数时选择在CDH的Hbase配置界面搜索heapsize，offheap，根据实际业务和服务器资源调整相应参数。

参考https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.0/bk_Sys_Admin_Guides/content/ref-1e85903e-0358-410e-9b6d-13ac2036fb71.1.html

减少compaction（hbase.hstore.compactionThreshold）

默认为3，适当增加到5-10，即HStoreFiles数量超过该参数时，执行compaction。增加参数可减少compaction的次数，但是同时需要更大的内存。

hbase.hstore.compaction.max

每次minor compact最多的文件个数，和上面2类似，增加个数会使用更大内存。默认为10，可增加到30.

hbase.client.write.buffer

客户端写buffer，设置autoFlush为false时，当客户端写满buffer才flush。（参考client端调优1，该参数也可以在client端设置）

hbase.regionserver.handler.count

regionserver处理IO请求的线程数，根据集群资源适当调整。线程数越多，内存使用越高。建议30-50。

hbase.regionserver.maxlogs

regionserver的hlog数量，（参考client端调优3），默认32，可适当增加。

hbase.hstore.blockingStoreFiles

当某个HStore中HStoreFiles的数量超过该参数时，HRegion会阻塞写入以等待compaction。可增加该参数至30-100。

hbase.regionserver.thread.compaction.small

small compaction的线程数，默认为1，建议增加到5。

---------------------

本文来自 onwingsofsong 的CSDN 博客，全文地址请点击：https://blog.csdn.net/onwingsofsong/article/details/80207189?utm_source=copy

Hbase性能调优

推荐阅读更多精彩内容