前言
Redis集群同步迁移的方法有很多，比如redis-port,redis-migrate-tool等工具，本文主要讲CentOS通过redis-migrate-tool从集群迁移到单实例。
redis-migrate-tool 是维品会开源的一款redis数据迁移工具，基于redis复制，快速，稳定，github地址为：https://github.com/vipshop/redis-migrate-tool 。
迁移工具的来源（source）可以是：单独的redis实例，twemproxy集群，redis cluster，rdb文件，aof文件。
迁移工具的目标（target）可以是：单独的redis实例，twemproxy集群，redis cluster，rdb文件。
目前测试的Redis版本为3.0.0，如果是4.0.x版本可能会报错
[2019-07-31 16:57:50.393] rmt_redis.c:1517 MASTER <-> SLAVE sync: receiving 4860 bytes from master[172.16.255.34:7001@17001]
[2019-07-31 16:57:50.393] rmt_redis.c:1623 MASTER <-> SLAVE sync: RDB data for node[172.16.255.34:7001@17001] is received, used: 0 s
[2019-07-31 16:57:50.393] rmt_redis.c:1643 rdb file node172.16.255.34:7001@17001-1564563470312707-6709.rdb write complete
[2019-07-31 16:57:50.393] rmt_redis.c:6446 ERROR: Can't handle RDB format version -1549717496
[2019-07-31 16:57:50.393] rmt_redis.c:6715 ERROR: Rdb file for node[172.16.255.34:7001@17001] parsed failed
如上Can't handle RDB format version -1549717496为版本兼容问题，各个版本的.rdb是不兼容的，rmt工具似乎还不支持4.0.X。
可考虑降版本，如果开启了appendonly yes，可通过.aof文件迁移。
当前集群数据存在
172.16.255.34:7000 172.16.255.34:7001
172.16.255.35:7002 172.16.255.35:7003
172.16.255.36:7004 172.16.255.36:7005
需要将集群的数据迁移到单实例的172.16.255.34:6379
安装
依赖：
$ yum -y install automake libtool autoconf bzip2 git
安装redis-migrate-tool：
$ git clone https://github.com/vipshop/redis-migrate-tool
$ cd redis-migrate-tool
$ autoreconf -fvi
$ ./configure
$ make
查看命令帮助可检查是否安装成功
$ src/redis-migrate-tool -h
如果出现
$ src/redis-migrate-tool -h
This is redis-migrate-tool-0.1.0
Usage: redis-migrate-tool [-?hVdIn] [-v verbosity level] [-o output file]
[-c conf file] [-C command]
[-f source address] [-t target address]
[-p pid file] [-m mbuf size] [-r target role]
[-T thread number] [-b buffer size]
....
安装成功。
配置文件更改
redis-migrate-tool默认的配置文件为rmt.conf，更改如下
$ vi rmt.conf
[source]
type: redis cluster
servers :
-172.16.255.34:7000
[target]
type: single
servers:
-172.16.255.34:6379
[common]
listen: 0.0.0.0:8888
Esc :wq 保存退出。
source为集群，只需要配置一个servers就可以。
开始迁移
$ src/redis-migrate-tool -o log -d
开始在后台运行迁移，查看运行日志 tail -200 log。
....
[2019-08-01 11:59:19.919] rmt_redis.c:6601 Rdb file for node[172.16.255.34:7000] parsed finished, use: 0 s.
[2019-08-01 11:59:19.919] rmt_redis.c:6709 All nodes' rdb file parsed finished for this write thread(0).
可看见All nodes' rdb file parsed finished则表示运行完成。
运行数据检查
$ src/redis-migrate-tool -o log -d -C redis_check
默认抽样1000个数据检查
Check job is running...
Checked keys: 1000
Inconsistent value keys: 0
Inconsistent expire keys : 0
Other check error keys: 0
Checked OK keys: 1000
All keys checked OK!
Check job finished, used 1.041s
迁移成功~
如果中途迁移失败，使用redis-cli -h 172.16.255.34，清除keys
172.16.255.34:6379> flushall
keys *检查是否清空，以免list等数据迁移时会增量，redis_check会检查一部分数据不一致，你会发现都是显示list
[2019-07-31 17:00:27.185] rmt_check.c:848 ERROR: key checked failed: check key's value error, value is inconsistent. key(len:15, type:list): 509A4C6A4WAY_46
Java使用JedisCluster连接集群的改成JedisPool
@Override
public void afterPropertiesSet() throws Exception {
if (mJedis == null) {
mJedisPool = new JedisPool(genericObjectPoolConfig, hostName, Integer.valueOf(port), timeout);
mJedis = mJedisPool.getResource();
}
}
@Autowired
private Jedis jedis;
推荐阅读
