TiDB 集群 IP 变更快速指南（离线变更）

前言

TiDB 集群 IP 变更可以通过先扩容再缩容的方式，实现在线的集群 IP 的迁移。

此文档为离线变更操作手册。

TiDB Server 作为一个无状态服务。所以直接更换 IP 即可，同时修改 PD Server 地址。
TiKV Server 作为一个 Mutil Raft Group，信息会在 PD Server 中注册，所以直接更换 IP 即可，同时修改 PD Server 地址。
PD Server 作为一个元数据管理节点，更换 IP 后需要新建 PD 集群，然后进行 PD Recover 操作，恢复原有 PD 集群信息。

收集需要的信息

新建 PD 集群后，现有的信息会丢失，因此需要些备份这些信息。

获取 PD 中的设置

.../tidb-ansible/resource/bin/pd-ctl -u http://{pdip}:2379 -d config show all > pd.txt

其中常见的调整参数有 leader-scheduler-limit、region-scheduler-limit、leader-scheduler-limit 等。
如果没有使用 pd-ctl 修改过默认配置，此步骤可跳过。

获取 Cluster ID

一般在 PD，TiKV 或 TiDB 的日志中都可以获取 Cluster ID。可以从中控机使用 ansible ad-hoc，也可以直接去服务器上翻日志。

从 pd 日志获取 [info] cluster id

ansible -i inventory.ini pd_servers -m shell -a 'cat {{deploy_dir}}/log/pd.log | grep "init cluster id" | head -10'

10.0.1.13 | CHANGED | rc=0 >>
[2019/10/14 10:35:38.880 +00:00] [INFO] [server.go:212] ["init cluster id"] [cluster-id=6747551640615446306]
……

获取 Alloc ID（TiKV StoreID）

在指定 alloc-id 时需指定一个比当前最大的 Alloc ID 更大的值。可以从中控机使用 ansible ad-hoc，也可以直接去服务器上翻日志。

从 pd 日志获取 [info] allocates id

ansible -i inventory.ini pd_servers -m shell -a 'cat {{deploy_dir}}/log/pd* | grep "allocates" | head -10'

10.0.1.13 | CHANGED | rc=0 >>
[2019/10/15 03:15:05.824 +00:00] [INFO] [id.go:91] ["idAllocator allocates a new id"] [alloc-id=3000]
[2019/10/15 08:55:01.275 +00:00] [INFO] [id.go:91] ["idAllocator allocates a new id"] [alloc-id=4000]
……

集群 IP 地址变更

停止集群

停止现有集群

ansible-playbook stop.yml

变更集群服务器 ip 地址

略

编辑 inevntory.ini 文件

编辑 inventory.ini 文件，修改 host ip

cp inventory.ini inventory.ini.bak

vi inventory.ini

清除之前的 PD 数据

备份并清理原有 PD Server 的数据

ansible -i inventory.ini pd_servers -m shell -a 'mv {{deploy_dir}}/data.pd/ {{deploy_dir}}/data.pd.bak/'

ansible -i inventory.ini pd_servers -m shell -a 'rm -rf {{deploy_dir}}/data.pd'

部署新 IP 地址的集群

ansible-playbook deploy.yml

恢复 PD 设置

.../tidb-ansible/resource/bin/pd-ctl -u http://{pdip}:2379 -d config set xxx xx

PD Recover 恢复旧集群信息

启动新 PD 集群

ansible-playbook start.yml --tags=pd

使用 pd-recover

使用 pd-recover 按照旧的 -cluster-id、-alloc-id 恢复 pd 集群信息

./pd-recover -endpoints http://{pdip}:2379 -cluster-id 6747551640615446306 -alloc-id 10000

重启 pd 集群

ansible-playbook rolling_update.yml --tags=pd

启动集群

启动剩余服务

ansible-playbook start.yml --skip-tags=pd

滚动监控

更新监控信息

ansible-playbook rolling_update_monitor.yml --tags=prometheus

常见问题

获取 Cluster ID 时发现有多个

新建 PD 集群时，会生成新的 Cluster ID。可以通过日志判断旧集群的 Cluster ID。

执行 pd-recover 时 dial tcp 10.0.1.13:2379: connect: connection refused

执行 pd-recover 时需要 pd 提供服务，请先部署并启动 pd 集群。

最后编辑于：2020.04.07 13:10:33