So in practical terms, what you get with Redis Cluster?
- The ability to automatically split your dataset among multiple nodes.
- The ability to continue operations when a subset of the nodes are experiencing failures or are unable to communicate with the rest of the cluster.
如官方文档所说,redis 集群解决的两个核心问题就是:
- 节点生而平等
- 节点团结共生
1 安装 Redis
请参考链接。
2 搭建集群
2.1 创建文件夹
生产环境中,我们不会把服务都集中到一台机器上;所以接下来我们假设有两台机器,搭建集群。
每台机器上 Redis 节点的端口号为 9001-9003 ,端口号即集群下各实例文件夹。数据存放在 端口号/data 文件夹中。
mkdir /usr/local/redis-cluster
cd redis-cluster/
mkdir -p 9001/data 9002/data 9003/data
2.2 复制执行脚本
在 /usr/local/redis-cluster 下创建 bin 文件夹,用来存放集群运行脚本,并把安装好的 Redis 的 src 路径下的运行脚本拷贝过来。
mkdir redis-cluster/bin
cd /usr/local/redis/src
cp mkreleasehdr.sh redis-benchmark redis-check-aof redis-check-dump
redis-cli redis-server redis-trib.rb /usr/local/redis-cluster/bin
2.3 复制一个新 Redis 实例
我们现在从已安装好的 Redis 中复制一个新的实例到 9001 文件夹,并修改 redis.conf 配置。
cp /usr/local/redis/* /usr/local/redis-cluster/9001
启动每个节点时配置文件很重要,redis.conf 除了常规的配置外集群时需要注意:
port 9001(每个节点的端口号)
daemonize yes
bind 192.168.151.216(绑定当前机器 IP)
dir /usr/local/redis-cluster/9001/data/(数据文件存放位置)
pidfile /var/run/redis_9001.pid(pid 9001和port要对应)
cluster-enabled yes(启动集群模式)
cluster-config-file nodes9001.conf(9001和port要对应)
cluster-node-timeout 15000
appendonly yes
2.4 再复制两个新 Redis 实例
把 9001 实例 复制到另外两个文件夹中
cp -rf /usr/local/redis-cluster/9001/* /usr/local/redis-cluster/9002
cp -rf /usr/local/redis-cluster/9001/* /usr/local/redis-cluster/9003
2.5 修改 9002/9003 的 redis.conf 文件
进入相应的节点文件夹,做全局替换。
vim redis.conf
:%s/9001/9002/g
2.6 安装集群所需软件
yum install ruby
yum install rubygems
gem install redis
2.7 创建集群
/usr/local/redis-cluster/bin/redis-trib.rb create --replicas 1 192.168.151.216:9001
192.168.151.216:9002 192.168.151.216:9003
192.168.151.217:9001 192.168.151.217:9002 192.168.151.217:9003
简单解释一下这个命令:调用 ruby 命令来进行创建集群,--replicas 1 表示主从复制比例为 1:1,即一个主节点对应一个从节点;然后,默认给我们分配好了每个主节点和对应从节点服务,以及 solt 的大小,因为在 Redis 集群中有且仅有 16383 个 solt ,默认情况会给我们平均分配,当然你可以指定,后续的增减节点也可以重新分配。
当询问是否同意集群配置时,输入 yes 后,会开始集群创建。
2.8 测试集群
通过客户端命令连接上,通过集群命令看一下状态和节点信息等。
/usr/local/redis-cluster/bin/redis-cli -c -h 192.168.119.131 -p 9001
cluster info
cluster nodes
2.9 Haproxy + Redis
关于Haproxy的配置可以参考链接,也可阅读我上一篇文章。
在 haproxy.cfg 添加集群监听:
listen test1 0.0.0.0:6380
server s1 192.168.139.161:9001 check inter 2000 rise 2 fall 5
server s2 192.168.139.161:9002 check inter 2000 rise 2 fall 5
server s3 192.168.139.161:9003 check inter 2000 rise 2 fall 5
server s4 192.168.139.193:9001 check inter 2000 rise 2 fall 5
server s5 192.168.139.193:9002 check inter 2000 rise 2 fall 5
server s6 192.168.139.193:9003 check inter 2000 rise 2 fall 5
2.10 简易架构图
3 总结
redis cluster在设计的时候,就考虑到了去中心化,去中间件,也就是说,集群中的每个节点都是平等的关系,都是对等的,每个节点都保存各自的数据和整个集群的状态。每个节点都和其他所有节点连接,而且这些连接保持活跃,这样就保证了我们只需要连接集群中的任意一个节点,就可以获取到其他节点的数据。
Redis 集群没有并使用传统的一致性哈希来分配数据,而是采用另外一种叫做哈希槽 (hash slot)的方式来分配的。redis cluster 默认分配了 16384 个slot,当我们set一个key 时,会用CRC16算法来取模得到所属的slot,然后将这个key 分到哈希槽区间的节点上,具体算法就是:CRC16(key) % 16384。
Redis 集群会把数据存在一个 master 节点,然后在这个 master 和其对应的salve 之间进行数据同步。当读取数据时,也根据一致性哈希算法到对应的 master 节点获取数据。只有当一个master 挂掉之后,才会启动一个对应的 salve 节点,充当 master 。
需要注意的是:必须要3个或以上的主节点,否则在创建集群时会失败;并且当存活的主节点数小于总节点数的一半时,整个集群就无法提供服务了。