本文档主要从https://www.pingcap.com/docs-cn/tools/syncer/整理。
一、Syncer 简介
Syncer 是一个数据导入工具，能方便地将 MySQL 的数据增量导入到 TiDB。
二、Syncer 架构
三、部署Syncer
下载 TiDB 企业版工具集 (Linux)。Syncer可以部署在任一台可以连通对应MySQL和TiDB集群的机器上，推荐部署在TiDB集群。
下载 tool 压缩包和压缩包的sha256码（用于检测文件完整性）
wget http://download.pingcap.org/tidb-enterprise-tools-latest-linux-amd64.tar.gz
wget http://download.pingcap.org/tidb-enterprise-tools-latest-linux-amd64.sha256
成功 时如下图：
检查文件完整性，返回 OK 则正确
sha256sum -c tidb-enterprise-tools-latest-linux-amd64.sha256
返回OK时输出：
解开压缩包
tar -xzf tidb-enterprise-tools-latest-linux-amd64.tar.gz
四、Syncer同步前检查
4.1源库 server-id 检查
可通过以下命令查看 server-id，结果为空或者为 0，Syncer 无法同步数据
Syncer server-id 与 MySQL server-id 不能相同，且在 MySQL cluster 中唯一
show global variables like 'server_id';
我的MySQL输出如下：
4.2检查 Binlog 相关参数
检查 MySQL 是否开启 binlog
可以用如下命令确认是否开启了 binlog
如果结果是 log_bin = OFF，需要开启。开启方式请参考 官方文档
show global variables like 'log_bin';
我的MySQL输出如下：
4.3检查 MySQL binlog 格式是否为 ROW
可以用如下命令检查 binlog 格式：
show global variables like 'binlog_format';
我的MySQL输出如下：
如果发现 binlog 格式是其他格式，可以通过如下命令设置为 ROW（未测试）：
如果 MySQL 有连接，建议重启 MySQL 服务或者杀掉所有连接。
set global binlog_format=ROW;
flush logs;
4.4检查 MySQL binlog_row_image 是否为 FULL
可以用如下命令检查 binlog_row_image
show global variables like 'binlog_row_image';
我的MySQL输出如下：
如果 binlog_row_image 结果不为 FULL，请设置为 FULL。设置方式如下（未测试）：
set global binlog_row_image = FULL;
4.5检查 mydumper 用户权限
mydumper 导出数据至少拥有以下权限： select, reload
mydumper 操作对象为 RDS 时，可以添加 --no-locks 参数，避免申请 reload 权限
4.6检查上下游同步用户权限
需要上游 MySQL 同步账号至少赋予以下权限：select , replication slave , replication client
下游 TiDB 可暂时采用 root 同权限账号
4.7检查 GTID 与 POS 相关信息
查看所有binlog日志
show binary logs;
我的MySQL输出如下：
使用以下语句查看 binlog 内容：
show binlog events in 'mysql-bin.000037' from 0 limit 10;
五、Syncer同步
在解压的tidb-enterprise-tools-latest-linux-amd64目录中看到只有bin目录，这里我们新建conf目录
mkdir conf
5.1准备配置文件syncer.meta
创建syncer.meta文件，存放binlog position
vi syncer.meta
在文件中加入同步开始的binlog名称及postion：
binlog-name = "mysql-bin.000037"
binlog-pos = 0
ps:syncer.meta 只需要第一次使用的时候配置，后续 Syncer 同步新的 binlog 之后会自动将其更新到最新的 position。
5.1准备配置文件config.toml
vi config.toml
在文件中加入如下内容：
log-level = "info"
server-id = 20113306
## meta 文件地址
meta = "./syncer.meta"
worker-count = 16
batch = 10
## pprof 调试地址, Prometheus 也可以通过该地址拉取 syncer metrics
## 将 127.0.0.1 修改为相应主机 IP 地址
status-addr = "127.0.0.1:10086"
# 注意: skip-sqls 已经废弃, 请使用 skip-ddls.
# skip-ddls 可以跳过与 TiDB 不兼容的 DDL 语句，支持正则语法。
# skip-ddls = ["^CREATE\\s+USER"]
# 注意: skip-events 已经废弃, 请使用 skip-dmls
# skip-dmls 用于跳过 DML 语句. type 字段取值为 'insert', 'update', 'delete'。
# 下面的例子为跳过 foo.bar 表的所有 delete 语句。
# [[skip-dmls]]
# db-name = "foo"
# tbl-name = "bar"
# type = "delete"
#
# 下面的例子为跳过所有表的 delete 语句。
# [[skip-dmls]]
# type = "delete"
#
# 下面的例子为跳过 foo 库中所有表的 delete 语句。
# [[skip-dmls]]
# db-name = "foo"
# type = "delete"
## 指定要同步数据库名；支持正则匹配，表达式语句必须以 `~` 开始
#replicate-do-db = ["~^b.*","s1"]
## 指定要同步的 db.table 表
## db-name 与 tbl-name 不支持 `db-name ="dbname，dbname2"` 格式
#[[replicate-do-table]]
#db-name ="dbname"
#tbl-name = "table-name"
#[[replicate-do-table]]
#db-name ="dbname1"
#tbl-name = "table-name1"
## 指定要同步的 db.table 表；支持正则匹配，表达式语句必须以 `~` 开始
#[[replicate-do-table]]
#db-name ="test"
#tbl-name = "~^a.*"
## 指定**忽略**同步数据库；支持正则匹配，表达式语句必须以 `~` 开始
#replicate-ignore-db = ["~^b.*","s1"]
## 指定**忽略**同步数据库
## db-name & tbl-name 不支持 `db-name ="dbname，dbname2"` 语句格式
#[[replicate-ignore-table]]
#db-name = "your_db"
#tbl-name = "your_table"
## 指定要**忽略**同步数据库名；支持正则匹配，表达式语句必须以 `~` 开始
#[[replicate-ignore-table]]
#db-name ="test"
#tbl-name = "~^a.*"
# sharding 同步规则，采用 wildcharacter
# 1. 星号字符 (*) 可以匹配零个或者多个字符,
# 例子, doc* 匹配 doc 和 document, 但是和 dodo 不匹配;
# 星号只能放在 pattern 结尾，并且一个 pattern 中只能有一个
# 2. 问号字符 (?) 匹配任一一个字符
#[[route-rules]]
#pattern-schema = "route_*"
#pattern-table = "abc_*"
#target-schema = "route"
#target-table = "abc"
#[[route-rules]]
#pattern-schema = "route_*"
#pattern-table = "xyz_*"
#target-schema = "route"
#target-table = "xyz"
[from]
host = "127.0.0.1"
user = "root"
password = ""
port = 3306
[to]
host = "127.0.0.1"
user = "root"
password = ""
port = 4000
其中server-id就是源数据库的server-id（20113306）
啊
