在分布式系统中为了解决单点问题,通常会把数据复制多个副本部署到其他机器,满足故障恢复和负载均衡等需求。Redis也是如此,它为我们提供了复制功能,实现了相同数据的多个Redis副本。复制功能是高可用Redis的基础,后面章节的哨兵和集群都是在复制的基础上实现高可用的。复制也是Redis日常运维的常见维护点。因此深刻理解复制的工作原理与使用技巧对我们日常开发运维非常有帮助。本章内容如下:
介绍复制的使用方式:如何建立或断开复制、安全性、只读等。
说明复制可支持的拓扑结构,以及每个拓扑结构的适用场景。
分析复制的原理,包括:建立复制、全量复制、部分复制、心跳等。
介绍复制过程中常见的开发和运维问题:读写分离、数据不一致、规避全量复制等。
配置
-
建立复制
参与复制的Redis实例划分为主节点(master)和从节点(slave)。默认情况下,Redis都是主节点。每个从节点只能有一个主节点,而主节点可以同时具有多个从节点。复制的数据流是单向的,只能由主节点复制到从节点。配置复制的方式有以下三种:
1)在配置文件中加入slaveof{masterHost{ {masterPort}随Redis启动生效。
2)在redis-server启动命令后加入--slaveof {masterHost} {masterPort}
3)直接使用命令:slaveof {masterHost} {masterPort}生效。
综上所述,slaveof命令在使用时,可以运行其动态配置,也可以提前写到配置文件中。例如本地启动两个端口为6379和6380的Redis节点,在127.0.0.1:6380执行如下命令:
127.0.0.1:6380> slaveof 127.0.0.1:6379
slaveof配置都是从节点发起,这时6379作为主节点,6380作为从节点。复制关系建立后执行如下命令测试:
127.0.0.1:6380> set hello redis OK 127.0.0.1:6380> get hello "redis" 127.0.0.1:6380> hello "redis"
从运行结果中看到复制已经工作了,针对主节点6379的任何修改都可以同步到从节点6380中。
slaveof本身是异步命令,执行slaveof命令时,节点只保存主节点信息后返回,后续复制流程在节点内部异步执行,具体细节见之后复制原理小节。主从节点复制成功建立后,可以使用info replication命令查看复制相关状态,如下所示:
1)主节点6379复制状态信息:
127.0.0.1:6380> info replication # Replication role:master connected_slaves:1 slave0:ip=127.0.0.1=6379,state=online,offset=43,lag=0
2)从节点6380复制状态信息:
127.0.0.1:6380> info replication # Replication role:slave master_host:127.0.0.1 master_port:6380 master_link_status:up master_last_io_seconds_ago:4 master_sync_in_progress:0 ...
-
断开复制
slaveof命令不但可以建立复制,还可以在从节点执行slaveof no one来断开与主节点复制关系。例如在6380节点上执行slaveof no one来断开复制。
断开复制主要流程:
1)断开与主节点复制关系
2)从节点晋升为主节点。
从节点断开复制后并不会抛弃原有数据,只是无法再获取主节点上的数据变化。
通过slaveof命令还可以实现切主操作,所谓切主操作是指把当前从节点对主节点的复制切换到另一个主节点。执行slaveof {newMasterIp} {newMasterPort}命令即可,例如把6380节点从原来的复制6379节点变为复制6381节点。
切主操作流程如下:
1)断开与旧主节点复制关系。
2)与新主节点建立复制关系。
3)删除从节点当前所有数据。
4)对新主节点进行复制操作。
运维提示:切主后从节点会清空之前所有的数据,线上人工操作时小心slaveof在错误的节点上执行或者指向错误的主节点。
-
安全性
对于数据比较重要的节点,主节点会通过设置requirepass参数进行密码验证,这是所有的客户端访问必须使用auth命令实行校验。从节点与主节点的复制链接是通过一个特殊标识的客户端来完成,因此需要配置从节点的masterauth参数与主节点密码保持一致,这样从节点才可以正确地连接到主节点并发起复制流程。
-
只读
默认情况下,从节点使用slave-read-only-yes配置为只读模式。由于复制只能从主节点到从节点,对于从节点的任何修改主节点都无法感知,修改从节点会造成主从数据不一致。因此建议不要修改从节点的只读模式。
-
传输延迟
主从节点一般部署在不同机器上,复制时的网络延迟就成为需要考虑的问题,Redis为我们提供了repl-disable-tcp-nodelay参数用于口控制是否关闭TCP_NODELAY,默认关闭,说明如下:
当关闭时,主节点产生的命令数据无论大小都会及时地发送给从节点,这样主从之间延迟会变小,但增加了网络带宽的消耗。适用于主从之间的网络环境良好的场景,如同机架或同机房部署。
当开启时,主节点会合并较小的TCP数据包从而节省带宽。默认发送时间间隔取决于Linux的内核,一般默认为40秒。这种配置节省了带宽但增大了主从之间的延迟。适用于主从网络环境复杂或带宽紧张的场景,如跨机房部署。
运维提示:部署主从节点时需要考虑网络延迟、带宽使用率、防灾级别等因素,如要求低延迟时,建议同机架会同机房部署并关闭repl-disable-tcp-nodelay;如果考虑高容灾性,可以同城跨机房部署并开启repl-disable-tcp-nodelay.