RocketMq 集群配置--linux(centos7)
1. RocketMq优点
强调集群无单点，可扩展，任意一点高可用，水平可扩展
方便集群配置，而且容易扩展（横向和纵向），通过slave的方式每一点都可以实现高可用
支持上万个队列，顺序消息
顺序消费是实现在同一队列的，如果高并发的情况就需要队列的支持，rocketmq可以满足上万个队列同时存在
任性定制你的消息过滤
rocketmq提供了两种类型的消息过滤，也可以说三种可以通过topic进行消息过滤、可以通过tag进行消息过滤、还可以通过filter的方式任意定制过滤
消息的可靠性（无Buffer，持久化，容错，回溯消费）
消息无buffer就不用担心buffer回满的情况，rocketmq的所有消息都是持久化的，生产者本身可以进行错误重试，发布者也会按照时间阶梯的方式进行消息重发，消息回溯说的是可以按照指定的时间进行消息的重新消费，既可以向前也可以向后（前提条件是要注意消息的擦除时间）
海量消息堆积能力，消息堆积后，写入低延迟
针对于provider需要配合部署方式，对于consumer，如果是集群方式一旦master返现消息堆积会向consumer下发一个重定向指令，此时consumer就可以从slave进行数据消费了
分布式事务
我个人感觉rocketmq对这一块说的不是很清晰，而且官方也说现在这块存在缺陷（会令系统pagecache过多），所以线上建议还是少用为好
消息失败重试机制
针对provider的重试，当消息发送到选定的broker时如果出现失败会自动选择其他的broker进行重发，默认重试三次，当然重试次数要在消息发送的超时时间范围内。
针对consumer的重试，如果消息因为各种原因没有消费成功，会自动加入到重试队列，一般情况如果是因为网络等问题连续重试也是照样失败，所以rocketmq也是采用阶梯重试的方式。
定时消费
除了上面的配置，在发送消息是也可以针对message设置setDelayTimeLevel
活跃的开源社区
现在rocketmq成为了apache的一款开源产品，活跃度也是不容怀疑的
成熟度（经过双十一考验）
针对本身的成熟度，我们看看这么多年的双十一就可想而知了
2. 多master配置（两个）
-
两台linux虚拟机 ip分别为192.168.9.129 192.168.9.130
需要确认java环境已安装
配置两台主机的host信息 （ip换成自己的ip）
192.168.9.129 rocketNameSrv2
192.168.9.129 rocketBrokerMaster2
192.168.9.130 rocketNameSrv1
192.168.9.130 rocketBrokerMaster1
-
重启网卡 (两台虚拟机)
运行图：输入命令 ：service network restart
image -
检查配置是否生效 在129这台 ping 130这台 bing telnet 9876端口
ping rocketNameSrv1
ping rocketBrokerMaster1
telnet rocketNameSrv1 9876
telnet rocketBrokerMaster1 9876
备注:telnet不通 请检查防火墙
-
下载需要的rocketmq 包 并解压到对应目录
这里使用的是rocketmq-4.3.2版本
-
建立软连接 cd rocketmq-4.3.2 上层目录中
输入命令：ln -s rocketmq-4.3.2 rocketmq
-
创建存储仓库 只创建store、commitLog、consumequeue、index文件夹
输入命令:
mkdir ./rocketmq/store
mkdir ./rocketmq/store/commitlog
mkdir ./rocketmq/store/consumequeue
mkdir ./rocketmq/store/index
修改配置文件 在conf/2m-noslave(没从) 下 broker-a.properties和broker-b.properties进行修改（添加） 备注----brokerName不做修改
#指定broker Ip
brokerIp1＝192.168.9.129
# Name Server地址
namesrvAddr=rocketNameSrv1:9876;rocketNameSrv2:9876
# 存储路径
storePathRootDir=/opt/rocketmq/store
# commitLog 存储路径
storePathCommitLog=/opt/rocketmq/store/commitlog
# 消息队列存储路径
storePathConsumeQueue=/opt/rocketmq/store/consumequeue
# 消息索引存储路径
storePathIndex=/opt/rocketmq/store/index
# checkpoint 文件存储路径
storePathCheckpoint=/opt/rocketmq/store/checkpoint
# abort 文件存储路径
abortFile=/opt/rocketmq/store/abort
# commitlog目录所在分区的最大使用比例，如果commitlog目录所在的分区使用比例大于该值，则触发过期文件删除
diskMaxUsedSpaceRatio=88
-
修改Rocketmq JVM启动参数 /rocket/bin JAVA_OPT启动参数配置(根据情况调整)
vi runbroker.sh
vi runserver.sh
说明:这里只调整了 -Xms1g -Xmx1g -Xmn512m
-XX:MaxDirectMemorySize=1g
-
启动两台的nameSrv bin目录下
nohup sh ./mqnamesrv > /opt/rocketmq/store/namesvr.log 2>&1 &
-
分别启动两台的broker bin目录下
第一台
nohup sh ./mqbroker -c /opt/rocketmq/conf/2m-noslave/broker-a.properties > /opt/rocketmq/store/broker.log 2>&1 &
第二台
nohup sh ./mqbroker -c /opt/rocketmq/conf/2m-noslave/broker-b.properties > /opt/rocketmq/store/broker.log 2>&1
-
检查是否生效 bin目录下
sh mqadmin clusterList -n "192.168.9.130:9876;192.168.9.129:9876"
n主n个
- 也可以通过console连接查看
rocketmq.config.namesrvAddr=192.168.9.129:9876;192.168.9.130:9876
- 备注:多主仅需要在相应中多建配置文件指定不同brokerName即可
3. 主备异步/同步
-
前面配置时已经注意到 2m-noslave这个文件夹 故名思意
image主备对应的文件夹前缀为： 2m-2s 同步 sync 异步async 同步异步区别链接
因此,需要配置主备的更具具体选择进入相应文件夹配置
-
修改配置 (保持原有内容不变 添加多主中配置)
说明: 带-s的代表slave ，更具机器定义主/或从选择配置
image 配置好后,broker启动时 -c 指定新的配置文件路径即可 添加多主多从同多主扩展相同
