Canal 配置说明
deployer
conf/canal.properties
canal.destinations = clickhouse
这个文件只需要配置该属性即可,值需要与实际的实例名(实例配置文件夹名)一致,多个实例使用逗号分割
实例配置文件夹 clickhouse
该文件夹复制于官方示例 example
clickhouse配置目录下 初始只有instance.properties文件。如果canal故障需要重启时,且重启后不能恢复,可以尝试删除这些自动生成的配置文件再重启。
conf/clickhouse/instance.properties
canal.instance.master.address=192.168.111.100:31640
MySQL数据库地址和端口号
canal.instance.dbUsername=root
canal.instance.dbPassword=123456
MySQL用户名和密码
canal.instance.filter.regex=fcg_udm_business.DM_Document,fcg_udm_business.DMF_Document
同步实例过滤(同步表白名单)。使用则匹配,多个规则使用逗号分割
其他参考
adapter
conf/application.yml
这个文件主要配置adapter与clickhouse的连接。
conf/rdb/DM_Document.yml
例如:
全量同步(无法使用,未做相应代码更改):
curl "hostip:port/etl/type/key/task" -X POST
curl http://127.0.0.1:8081/etl/rdb/clickhouse1/DM_Document.yml -X POST
使用全量同步,必须配置 conf/application.yml 中的 srcDataSources 和 rdb配置中的 etlCondition。
同时,adapter中默认的MySql依赖版本是5.1.40,如果MySQL版本比较高,需要将可用版本的jar包放到lib目录下,否则配置srcDataSources后启动会报错。