MQ(RocketMQ)

一、RocketMQ概述

1.1)RocketMQ产生的原因

Kafka一个分区只能由消费组中一个消费者消费,多出来的消费者也无法增加性能

1.2)RocketMQ如何支持多分区

Kafka直接访问CommitLog,而RocketMQ先读取ComsumeQueue中的Offset,随机读到Offset再去CommitLog中顺序读——缺点可能出现CommitLog中的消息对应ComsumeQueue中没有Offset

二、定义与概念

同步发送:发送后等待服务端给响应发送成功之后信息才给用户提示

异步发送:直接提示用户已发送,等到服务端响应发送成功后再用回调函数处理

推动式消费:有一个进程执行对RocketMQ拉取消息,再将消息发送给消费者,在消费者眼中看不到进程以为是Broker推送的

Topic:比如同一份消息需要发送给PC,APP,站内短信,邮件,针对不同渠道信息不同排版使用不同Topic进行隔离

Name Server:提供zookeeper一部分功能维护Broker列表,特色功能可通过名字找主题。相互独立类似于Redis sentinel互相独立相互监视,好处是权利平行解决不需要配置主从

Pull Comsumer:对应消费端主动性高,不管生产端发送多少我根据自己能力消费

Push Comsumer:不在乎消费端有没有消费完就主动推

Producer Group:提供备份防止一个Producer挂掉可以进行顶替

集群消费:相当于Kafka轮询

广播消费:消除了Kafka一个Partition只能被消费者组中一个消费者消费,一个Partition可以被所有Comsumer全量接收

三、安装 & 启动

nohup不挂起运行,客户端终止服务端不停止运行;&指后台启动
./tools.sh org.apache.rocketmq.example.quickstart.Producer

安装RocketMQ Dashboard

四、基于rocketmq-client 项目实战

单向消息应用于对发送性能要求高,但对数据完整性要求低场景
nohup ./mqbroker -c ../conf/broker.conf &
2PC强一致性:在所有分布式事务中一阶段所有操作成功,TM二阶段执行提交,一阶段有一个操作失败,TM二阶段将全部操作回滚
UNKNOWN状态的消息会执行checkLocalTransaction()方法
顺序消费取余保证相同文件按顺序存储在同一个MessageQueue中

五、设计与架构

5.1)Producer & Consumer

5.2)NameServer

5.3)BrokerServer

5.4)概念补充

UserProperties参考生产者SQL过滤代码

5.5)消息存储

maxOffset相当于Kafka中Log End Offset

5.6)页缓存与内存映射

页缓存
内存映射

微服务比较火因分为两部分,不同服务配置不同性能的机器,一个服务又要高CPU又要大磁盘拆不开:

计算型:采用高CPU,高内存

IO型:大内存,SSD大磁盘

5.7)消息刷盘

同步保证数据正确性(银行没有容错率),异步加快执行效率(出错概率低)

5.8)高可用性

主从集群
主从复制

5.9)负载均衡

5.9.1)Producer端

setLatencyFaultEnable开启会将Broker进行排序,latency时间越短Broker越排前

5.9.2)Consumer端概述

ConsumerManager保存所有消费者列表,channelInfoTable

5.9.3)Consumer端集群模式

5.10)消息重试

Message ID代表消息的唯一性

5.11)死信队列

有点像垃圾回收站
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,657评论 6 505
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,889评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,057评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,509评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,562评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,443评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,251评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,129评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,561评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,779评论 3 335
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,902评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,621评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,220评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,838评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,971评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,025评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,843评论 2 354

推荐阅读更多精彩内容