MQ 消息存储格式 kafka rocketmq

RocketMq 官网
kafka 官网

一、Rocketmq 文件

消息存储结构.png
  • 存储文件
    数据、索引相分离的存储结构
    1. CommitLog
      • 消息主体
      • 元数据
    2. ConsumeQueue
      • $HOME/store/consumequeue/{topic}/{queueId}/{fileName}
        基于topic的commitlog索引文件
      • 每一个条目共20个字节，分别为8字节的commitlog物理偏移量、4字节的消息长度、8字节tag hashcode
    3. IndexFile
      • IndexFile的底层存储设计为在文件系统中实现HashMap结构
        提供了一种可以通过key或时间区间来查询消息的方法

二、kafka 文件

Kafka的partition对应于RocketMQ的queue


kafka消息存储.png
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容