一、 写在前面
这次目标
- 搭建一个
canal
集群,并且把表数据变更消息发送给rabbitmq
。 - 停止其中一台机器,变更消息依然可以发送。
二、准备
canal-admin
zookeeper
canal-deployer
rabbitmq
三、 canal-admin
3.1 启动canal-admin
下载canal.admin-1.15-SNAPSHOT,然后解压,解压后的目录如下。
接着进入
conf
文件夹,找个数据库导入canal_manager.sql
文件。编辑
application.yml
,修改如下字段spring.datasource.address
:数据库地址spring.datasource.database
:数据库名称spring.datasource.username
:数据库登录名spring.datasource.password
:数据库密码最后进入
bin
目录启动项目。3.2环境构建
3.2.1新建test集群
- 新建集群。点击集群管理-》新建集群。输入集群名称、
zookeeper
地址
-
修改集群配置。操作-》主配置-》载入模版
这里需要修改的地方。
canal.zkServers
:zookeeper
地址+端口
canal.instance.global.spring.xml
: 改成classpath:spring/default-instance.xml
。
canal.mq.servers
:rabbitmq
部署的地址,注意不要加端口号,这里使用的是rabbitmq
默认的端口,如果加端口号会影响canal-deployer
启动。
canal.mq.vhost
:rabbitmq
的virtual host
canal.mq.exchange
:rabbitmq
的交换机
canal.mq.username
:rabbitmq
登录帐号
canal.mq.password
:rabbitmq
的登录密码
canal.serverMode
:指定rabbitmq
canal.destinations
:改成a,b
。这里我们相当于指定了两个destinations
,一个destinations
需要一个instance
。
配置好了之后记得保存。
3.2.2新建server
一个server
就是一个启动的canal-deployer
,所以新建的server
的server ip
与canal-deployer
启动地址一致。这里我们新建了两个server
并指定了canal-deployer
的地址。
3.2.3新建Instance
这里新建两个instance
,一个是a
,一个是b
,对应前面的canal.destinations
。
修改以下配置:
canal.instance.mysql.slaveId
:注意slaveId
需要唯一canal.instance.master.address
:数据库地址+端口canal.instance.dbUsername
:数据库登录名canal.instance.dbPassword
:数据库密码canal.instance.defaultDatabaseName
:数据库名称canal.mq.topic
:rabbitmq
路由键,为了区分是instance a
发的消息,还是instance b
发的消息,所以instance a
的topic
设置a
,instance b
的topic
设置b
。四、配置canal-devopler
进入192.168.5.148
、192.168.5.31
机器中修改以下配置。
打开conf/canal_local.properties
文件
canal.admin.manager
:canal-admin
ip地址+端口
canal.admin.register.cluster
:之前新建的集群名称,文章中的test
。
canal.register.ip
:指定注册的ip
地址,192.168.5.148
机器就写192.168.5.148
。
canal.admin.register.auto
: 设置为false,防止本机可能有多个虚拟ip干扰结果。
设置保存好了之后进入bin
目录执行./startup.sh local
命令(加载canal_local.properties
)。
五、canal-admin 页面
可以看到目前instance
实例是挂在192.168.5.31
机器上
六、rabbitmq 绑定队列绑定路由键
这里 rabbitmq
队列绑定了a
、b
路由键。
七、验证结果
7.1表变更数据发送给rabbitmq
可以看到只有两条消息,分别是
instance a
和instance b
发送的。
7.2关闭一台机器消息仍然可以发送
这里两个instance
都是在192.168.5.31
机器上,这时候我们关闭192.168.5.31
机器,然后重新变更表数据。
进入192.168.5.31
机器,并再bin/
目录下执行./stop.sh
。
可以看到
192.168.5.31
机器提供的server
已经停止,并且两个instance
挂在192.168.5.148
上,修改表数据。下图可以看到消息成功发送。最后
在最后贴一张配置文件获取图,启动canal-server
的时候,会从本地配置canal.admin.manager
的地址中拿集群中的配置信息(文章中的test
集群),
然后根据集群文件中的canal.destinations
生成instance
,生成instance
就需要从canal.admin.manager
的地址中获取对应的instance
配置。