RoaringBitmap在Clickhouse里的片优化

遇到的问题:
Clickhouse本身是分布式的,数据要分布存储在不同的分片,来达到分布式计算的效果。那我们保存到Clickhouse的一个大Bitmap就要被拆分成n个小的Bitmap保存到不同的节点,而且要保证相同的offset在不同的Bitmap中都在相同的本地节点中,来达到本地碰撞计算的目的。RoaringBitmap压缩率越高那么保存起来越是节省资源,计算效率也会更快。

解决的思路和方向:
1、RoaringBitmap压缩的原理
RoaringBitmap本身会把数据按照一定的逻辑拆分成不同的小桶,那么保存数据时,没有offset段的那些小桶就不会被创建出来,通过这样的逻辑就实现了数据的压缩存储。

image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容