redis的集群方案现在主要有三种(不考虑云集群),一种是豌豆荚的codis,codis是豌豆荚的团队在redis2.8的分支上继续开发的,基于代理的方式,生态很完整,用的人很多。还有Twitter出品的twemproxy,同样是代理的方式,但是没有web端的管理界面。然后就是本文要介绍的redis官方集群方案
redis-cluter作为官方出品的集群方案,15年才随着redis3.0版本出来。当时市面上已经有了不少集群方案,所以现在的普及率不高,但是这种方式最简单适合学习,而且我觉得一些小团队用官方的集群方案挺好的。redis3.0集群正常工作要求至少有3个master节点,每个master节点要配置至少一个slave。redis集群一共有16384个哈希槽,数据库中的每个key都属于16384个中的一个,集群中每个master节点都负责一部分哈希槽
只有3个master负责读写,slave只是同步数据,master宕机时提升为master
- redis的官方文档是有些问题的,它里面介绍的也是伪集群的方式,也就是一台机器上开6个redis实例构成集群。按照官方的说明,最少配置只需要下面这些,在真正的集群方案(一台机器一个redis实例)中是没问题的,但是如果是同一台机器,只配置这些,有些配置是冲突的。
port 7000
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
-
介绍一下我自己的目录结构,redis-3.2.10是源码包,single文件夹是平时使用的一个实例的相关文件的目录,cluster是这次新增的目录
我的配置,和默认的redis.conf相比,需要改这些
需要说明的是:每个Redis群集节点都需要打开两个TCP连接。用于服务客户端的普通Redis TCP端口(例如6379),以及通过将10000添加到数据端口而获得的端口,因此示例中为16379。
#没什么说的,每个实例的服务端口肯定不同
port 6381
# 后台运行,开启后台运行后会使用上面的pidfile文件
daemonize yes
# 每个实例要有自己的pid文件
pidfile /var/run/redis_6381.pid
# 默认是"",这样的话当appendonly yes的时候,日志会打到/dev/null中
# 也就是日志被吞了,还是打印日志让人放心
logfile "/usr/local/redis/cluster/6381/redis6381.log"
# 默认16个库,没什么意义,redis-cluster不支持换库
databases 1
# rdb文件名
dbfilename dump6381.rdb
# 存放rdb和aof的文件,默认是./
# 也就是在哪启动实例,就把rdb和aof文件放在哪,这太恶心了
dir /usr/local/redis/cluster/6381
# 开启aof,集群的话必须开启
appendonly yes
# aof文件名
appendfilename "appendonly6381.aof"
# 默认是被注释掉的
cluster-enabled yes
# 默认是被注释掉的,这个文件不需要自己操作,redis自动操作这个文件
cluster-config-file nodes-6381.conf
# 默认是被注释掉的
cluster-node-timeout 15000
- 然后把6个实例都启动,执行redis-3.2.10/src/redis-trib.rb这个redis自带的ruby脚本。--replicas 1 代表每个master一个slave
sudo redis-trib.rb create --replicas 1 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384 127.0.0.1:6385 127.0.0.1:6386
- 启动后会给出一个方案,哪三个是master,哪三个是slave,接受的话输入yes集群就创建成功了
这里有坑,mac自带了ruby2.0.0可以运行这个脚本,但是这个脚本需要redis.gem才能让ruby使用redis的接口,当运行gem install redis的时候会安装最新的4.0.1版本,该版本要求ruby2.2.2以上。这里有两个解决方案,一是升级mac自带的ruby版本,推荐使用rym升级ruby。二是使用低版本的redis.gem。
我选择的第二种方式,在官网看到只有4版本对ruby版本有要求,所以使用3.3.5这个3的最后一个版本。执行:
sudo gem install redis -v 3.3.5
- redis-3.2.10/utils/create-cluster/create-cluster的这个脚本可以用来参考,写一个自己的启动、关闭集群的脚本
- redis-trib.rb这个脚本只负责创建维护集群,不负责启动和关闭集群的redis实例,所有每次创建集群都需要开启6个实例,每次关闭集群都要关闭6个实例,很麻烦
Tips
redis的官方集群方案,用起来比其他的方式简单很多很多,很是和自己弄着玩
- redis-cluster在spring中的配置
<bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig">
<!--新版是maxTotal,旧版是maxActive,最大连接数-->
<property name="maxTotal" value="30"/>
<!-- 最大空闲连接数-->
<property name="maxIdle" value="10"/>
<!-- 每次释放链接的最大数目-->
<property name="numTestsPerEvictionRun" value="1024"/>
<!-- 释放链接的扫描间隔毫秒-->
<property name="timeBetweenEvictionRunsMillis" value="30000"/>
<!-- 连接最小空闲时间-->
<property name="minEvictableIdleTimeMillis" value="1800000"/>
<!-- 连接空闲多久后释放,当空闲时间大于该值且空闲连接大于最大空闲连接数时释放-->
<property name="softMinEvictableIdleTimeMillis" value="10000"/>
<!-- 获取连接的最大等待毫秒,小于零:阻塞不确定的时间,默认-1-->
<property name="maxWaitMillis" value="1500"/>
<!-- 获取连接时检查有效性,默认false-->
<property name="testOnBorrow" value="true"/>
<!-- 空闲时检查有效性,默认false-->
<property name="testWhileIdle" value="true"/>
<!-- 连接耗尽时是否阻塞,false报异常,true阻塞直到超时,默认true-->
<property name="blockWhenExhausted" value="false"/>
</bean>
<bean id="jedisCluster" class="redis.clients.jedis.JedisCluster" destroy-method="close">
<constructor-arg name="jedisClusterNode">
<set>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="127.0.0.1"/>
<constructor-arg name="port" value="6381"/>
</bean>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="127.0.0.1"/>
<constructor-arg name="port" value="6382"/>
</bean>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="127.0.0.1"/>
<constructor-arg name="port" value="6383"/>
</bean>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="127.0.0.1"/>
<constructor-arg name="port" value="6384"/>
</bean>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="127.0.0.1"/>
<constructor-arg name="port" value="6385"/>
</bean>
<bean class="redis.clients.jedis.HostAndPort">
<constructor-arg name="host" value="127.0.0.1"/>
<constructor-arg name="port" value="6386"/>
</bean>
</set>
</constructor-arg>
<constructor-arg name="timeout" value="2000"/>
<constructor-arg name="maxAttempts" value="100"/>
<constructor-arg name="poolConfig" ref="jedisPoolConfig"/>
</bean>
- redis3版本之前可以用jedis提供的分片客户端功能,spring配置
<bean id="sharedJedisPool" class="redis.clients.jedis.ShardedJedisPool" destroy-method="close">
<constructor-arg name="poolConfig" ref="jedisPoolConfig"/>
<constructor-arg name="shards">
<list>
<bean class="redis.clients.jedis.JedisShardInfo">
<constructor-arg name="host" value="127.0.0.1"/>
<constructor-arg name="port" value="6379"/>
</bean>
</list>
</constructor-arg>
</bean>
ShardedJedisPool作为jedis在redis3之前的分片客户端的实现,相当于根据key的不同,将数据存入不同的redis实例,所以每个redis实例中数据是不同的。JedisCluster作为jedis在redis3之后的集群实现,客户端不会根据key来分片,redis-cluster实现这个功能,并且集群中的每个redis都可以拿到整个集群的全部数据,虽然redis实例间数据还是不同,但会通过转发拿到别的redis实例的数据
- 平时自己开发用,可以使用单实例redis的配置
<bean id="jedisPool" class="redis.clients.jedis.JedisPool" destroy-method="close">
<constructor-arg name="poolConfig" ref="jedisPoolConfig"/>
<constructor-arg name="host" value="localhost"/>
<constructor-arg name="port" value="6379"/>
</bean>