1.机器上先安装java环境(安装JDK,maven等)
2.下载RocketMQ的源码来编译构建
执行如下命令来构建Dledger:
git clone https://github.com/openmessaging/openmessaging-storage-dledger.git
cd openmessaging-storage-dledger
mvn clean install -DskipTests
执行下面命令构建RocketMQ
git clone https://github.com/apache/rocketmq.git
cd rocketmq
##git checkout -b store_with_dledger origin/store_with_dledger 新版已经删除该分支,直接checkout 发布的release最新版本即可,或者自己选定的版本。
git checkout -b release-4.9.3 origin/release-4.9.3
mvn -Prelease-all -DskipTests clean install -U
cd distribution/target/apache-rocketmq
在上述目录中修改三个文件,一个是bin/runserver.sh,一个是bin/runbroker.sh,另一个是bin/tools.sh在里面找到如下三行,然后将第二行和第三行都删除掉,同时将第一行的值修改为自己的JDK的主目录。
[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=$HOME/jdk/java
[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/usr/java
[ ! -e "$JAVA_HOME/bin/java" ] && error_exit "Please set the JAVA_HOME variable in your environment, We need java(x64)!"
注:查看JDK的目录命令:/usr/libexec/java_home -V,
执行下面的命令进行快速RocketMQ集群的启动
sh bin/dledger/fast-try.sh start
这个命令会在当前这台机器上启动一个NameServer和三个Broker,三个Broker其中一个是Master,另外两个是Slave,瞬间就可以组成一个最小的Rocker集群
使用以下命令检查一下RocketMQ的集群状态
sh bin/mqadmin clusterList -n 127.0.0.1:9876
看到如上图就说明启动成功了,BID为0的就是Master,BID大于0的就是Slave。
尝试slave自动切换为master
##找到master的进程号
lsof -i:30931
kill -9 58798 ##干掉它
通过上面查看集群状态的命令再次查看集群状态详情
3.完成正式的三台NameServer的部署
还是先在三台机器上安装java环境,以及根据上述步骤把RockerMQ和Dledger全都构建好。
启动NameServer
nohup sh mqnamesrv & ##NameServer监听的接口默认就是9876,
4.完成一组Broker集群的部署
同样的还是在机器上先安装好java环境以及构建好Dledger和RockerMQ,然后编辑好对应的文件。
执行如下命令:
nohup sh bin/mqbroker -c conf/dledger/broker-n0.conf &
注:第一个Broker的配置文件是broker-n0.conf,第二个broker的配置文件可以是broker-n1.conf,第三broker
的配置文件可以是broker-n2.conf。
对broker-n0.conf配置文件的说明:
brokerClusterName = RaftCluster
这个是集群的名称,你整个broker集群都可以用这个名称
brokerName=RaftNode00
这是Broker的名称,比如你有一个Master和两个Slave,那么他们的Broker名称必须是一样的,因为他们三个是一个分组,如果你有另外一组Master和两个Slave,你可以给他们起个别的名字,比如说RaftNode01
listenPort=30911
这个就是你的Broker监听的端口号,如果每台机器上就部署一个Broker,可以考虑就用这个端口号,不用修改
namesrvAddr=127.0.0.1:9876
这里是配置NameServer的地址,如果你有很多个NameServer的话,可以在这里写入多个NameServer的地址
storePathRootDir=/tmp/rmqstore/node00
storePathCommitLog=/tmp/rmqstore/node00/commitlog
下面两个目录是存放Broker数据的地方,你可以换成别的目录,类似于是/usr/local/rocketmq/node00之类的
enableDLegerCommitLog=true
这个是非常关键的一个配置,就是是否启用DLeger技术,这个必须是true
dLegerGroup=RaftNode00
这个一般建议和Broker名字保持一致,一个Master加两个Slave会组成一个Group
dLegerPeers=n0-127.0.0.1:40911;n1-127.0.0.1:40912;n2-127.0.0.1:40913
这个很关键,对于每一组Broker,你得保证他们的这个配置是一样的,在这里要写出来一个组里有哪几个Broker,比如在这里假设有三台机器部署了Broker,要让他们作为一个组,那么在这里就得写入他们三个的ip地址和监听的端口号
dLegerSelfId=n0
这个是代表了一个Broker在组里的id,一般就是n0、n1、n2之类的,这个你得跟上面的dLegerPeers中的n0、
n1、n2相匹配
sendMessageThreadPoolNums=24
这个是发送消息的线程数量,一般建议你配置成跟你的CPU核数一样,比如我们的机器假设是24核的,那么这里就修改成24核
其实最关键的是,你的Broker是分为多组的,每一组是三个Broker,一个Master和两个Slave。对每一组Broker,他们的Broker名称、Group名称都是一样的,然后你得给他们配置好一样的dLegerPeers(里面是组内三台Broker的地址)然后他们得配置好对应的NameServer的地址,最后还有就是每个Broker有自己的ID,在组内是唯一的就可以了,比如说不同的组里都有一个ID为n0的broker,这个是可以的。