Hbase--为什么不建议在Hbase中使用过多列族

面试很容易被问到，也容易被问倒！！！
Hbase官网建议每张表的列族数建议设在1-3之间，so，Why?
从5个方面说明以下问题：

在Hbase中，调用API往对应的表插入数据是会写入到Memstore，而Memstore是一种内存结构，每个列族对应一个Memsotre和零个或多个Hfile。如果表有两个列族，那么相应的Region中存在两个MemStore，如下图所示：

两个列族的Hbase.PNG
从上图可以看出，越多的列族，将会导致内存中存在越多的Memstore；而存储在Memstore中的数据在满足一定的条件将会进行Flush操作；每次Flush的时候，每个Memstore将在磁盘生成一个Hfile文件，如下：

Memstore刷新操作.PNG
如上所示，越多的列族最终持久化到磁盘的Hfile越多。更要命的是，当前Flush操作时Region级别的，也就是说，Region中某个Memstore被Flush，同一个Region的其他Memstore也会进行Flush操作。当表有很多列族，且列族之间数据不均匀，比如一个列族有100W行，一个列族只有10行，这样会导致持久化到磁盘的文件数很多，同时有很多小文件，而且每次Flush操作也涉及到一定的IO操作。

当Hbase表中某个Region过大(比如大于 hbase.hregion.max.filesize配置的大小)会被拆分成两个。如果我们有很多列族，而这些列族之间的数据量相差悬殊。比如：有些列有100W行，而有些列族只有10行，这样在Region Split的时候会导致原本数据量很小的Hfile文件进一步被拆分，从而产生更多的小文件。注意：Region Split 是针对所有的列族进行的，这样做的目的是同一行的数据即使在Split后也是存在同一个Region的。
- 注意：Region分裂并不是说整个Region大小加起来大于 hbase.hregion.max.filesize配置的大小就拆分，而是说Region中某个最大的Store/Hfile/StoreFile大于 hbase.hregion.max.filesize才会触发Region拆分的。

HDFS其实对一个目录下的文件数是有限制的（dfs.namenode.fs-limits.max-directory-items）。如果我们有N个列族，M个Region，那么我们持久化到HDFS至少会产生NM个文件；而每个列族对应底层的HFile文件往往不止一个，我们假设为K个，那么最终表在HDFS目录下的文件数是NM*K，这可能会受到HDFS的限制。

一个列族在RegionServer中对应一个MemStore。Hbase在0.90.1版本开始引入了MSLAB(Memstore-Local Allocation Buffers)，这个功能是默认开启的，这使得每个Memstore在内存占用2MB的buffer。如果我们有很多的列族，那么光Memstore的缓存就会占用很多内存。
- MSLAB默认开始配置项：hbase.hregion.memstore.mslab.enable
- memstore buffer大小配置项：hbase.hregion.memstore.mslab.chunksize

在设置列族之前，我们最好想想，有没有必要将不同的列放到不同的列族里面。如果没有必要最好是放到同一个列族中。如果真要设置多个列族，但是其中的一些列族相对于其他列族数量差距非常悬殊，比如1000W相比100行，是不是考虑用另外一张表来存储相对小的列族。

Attention
资料整理于Hadoop技术博文公众号

最后编辑于：2019.05.08 17:41:59