0. NoSQL 产品(key-value)

RDBMS ：MySQL，Oracle ，MSSQL，PGNoSQL:Redis,MongoDB，列存储存储相关NewSQL----->分布式数据库架构（学习了MongoDB）缓存产品介绍：memcached （大公司会做二次开发）redisTair

1. Redis功能介绍

数据类型丰富    （笔试、面试）*****支持持久化      （笔试、面试） *****多种内存分配及回收策略支持事务            （面试）    ****消息队列、消息订阅 支持高可用                                ****支持分布式分片集群 （面试）  *****缓存穿透\雪崩（笔试、面试）  *****Redis API                  **

2、企业缓存产品介绍

Memcached:优点：高性能读写、单一数据类型、支持客户端式分布式集群、一致性hash多核结构、多线程读写性能高。缺点：无持久化、节点故障可能出现缓存穿透、分布式需要客户端实现、跨机房数据同步困难、架构扩容复杂度高Redis:  优点：高性能读写、多数据类型支持、数据持久化、高可用架构、支持自定义虚拟内存、支持分布式分片集群、单线程读写性能极高缺点：多线程读写较Memcached慢新浪、京东、直播类平台、网页游戏    memcache与redis在读写性能的对比memcached 适合,多用户访问,每个用户少量的rwredis    适合,少用户访问,每个用户大量rw            Tair：优点：高性能读写、支持三种存储引擎（ddb、rdb、ldb）、支持高可用、支持分布式分片集群、支撑了几乎所有淘宝业务的缓存。    缺点：单机情况下，读写性能较其他两种产品较慢

3、Redis使用场景介绍

Memcached：多核的缓存服务，更加适合于多用户并发访问次数较少的应用场景Redis：单核的缓存服务，单节点情况下，更加适合于少量用户，多次访问的应用场景。Redis一般是单机多实例架构，配合redis集群出现。

4、Redis安装部署：

下载：wget http://download.redis.io/releases/redis-3.2.12.tar.gz解压：上传至/datatar xzf redis-3.2.12.tar.gzmv redis-3.2.12redis安装：yum-y install gcc automake autoconf libtool makecd redismake环境变量：vim/etc/profileexportPATH=/data/redis/src:$PATHsource/etc/profile 启动：redis-server&连接测试：redis-cli127.0.0.1:6379>setnum10OK127.0.0.1:6379>getnum10

5、Redis基本管理操作

5.1基础配置文件介绍

mkdir/data/6379cat>/data/6379/redis.conf<<EOFdaemonize yesport6379logfile/data/6379/redis.logdir/data/6379dbfilename dump.rdbEOFredis-cli shutdown redis-server/data/6379/redis.conf netstat-lnp|grep63+++++++++++配置文件说明++++++++++++++redis.conf是否后台运行：daemonize yes默认端口：port6379日志文件位置logfile/var/log/redis.log持久化文件存储位置dir/data/6379RDB持久化数据文件:dbfilename dump.rdb++++++++++++++++++++++++++++++++++++++redis-cli127.0.0.1:6379>setname zhangsan OK127.0.0.1:6379>getname"zhangsan"

5.2 redis安全配置

redis默认开启了保护模式，只允许本地回环地址登录并访问数据库。禁止protected-modeprotected-mode yes/no （保护模式，是否只允许本地访问）(1)Bind:指定IP进行监听vim/data/6379/redis.confbind10.0.0.51127.0.0.1(2)增加requirepass{password}vim/data/6379/redis.confrequirepass123456----------验证-----方法一：[root@db03~]# redis-cli -a 123456127.0.0.1:6379>set name zhangsanOK127.0.0.1:6379>exit方法二：[root@db03~]# redis-cli127.0.0.1:6379>auth123456OK127.0.0.1:6379>set a b[root@db01src]# redis-cli -a 123 -h 10.0.0.51 -p 637910.0.0.51:6379>set b2OK

5.3 在线查看和修改配置

CONFIG GET *CONFIG GET requirepassCONFIG GET r*CONFIG SET requirepass 123

5.4 redis持久化（内存数据保存到磁盘）

RDB、AOFRDB 持久化    可以在指定的时间间隔内生成数据集的 时间点快照（point-in-time snapshot）。    优点：速度快，适合于用做备份，主从复制也是基于RDB持久化功能实现的。    缺点：会有数据丢失rdb持久化核心配置参数：vim/data/6379/redis.confdir/data/6379dbfilename dump.rdbsave9001save30010save6010000配置分别表示：900秒（15分钟）内有1个更改300秒（5分钟）内有10个更改60秒内有10000个更改  AOF 持久化(append-only log file)记录服务器执行的所有写操作命令，并在服务器启动时，通过重新执行这些命令来还原数据集。    AOF 文件中的命令全部以 Redis 协议的格式来保存，新命令会被追加到文件的末尾。    优点：可以最大程度保证数据不丢    缺点：日志记录量级比较大AOF持久化配置appendonly yesappendfsync alwaysappendfsync everysecappendfsync no是否打开aof日志功能每1个命令,都立即同步到aof 每秒写1次写入工作交给操作系统,由操作系统判断缓冲区大小,统一写入到aof.vim/data/6379/redis.confappendonly yesappendfsync everysec 面试： redis 持久化方式有哪些？有什么区别？rdb：基于快照的持久化，速度更快，一般用作备份，主从复制也是依赖于rdb持久化功能aof：以追加的方式记录redis操作日志的文件。可以最大程度的保证redis数据安全，类似于mysql的binlog

6、Redis数据类型(笔试)：

##6.1介绍String ：      字符类型Hash：        字典类型List：        列表    Set：          集合 Sortedset：  有序集合

need-to-insert-img

image.png

6.2 KEY的通用操作

KEYS *  keys a  keys a*    查看已存在所有键的名字  ****TYPE                        返回键所存储值的类型    ****EXPIRE\ PEXPIRE            以秒\毫秒设定生存时间      ***TTL\ PTTL                  以秒\毫秒为单位返回生存时间 ***PERSIST                    取消生存时间设置            ***DEL                        删除一个keyEXISTS                      检查是否存在RENAME                      变更KEY名---例子：127.0.0.1:6379> set name zhangsan 127.0.0.1:6379> EXPIRE name 60(integer)1127.0.0.1:6379> ttl name(integer)57127.0.0.1:6379> set a b ex 60OK127.0.0.1:6379> ttl a127.0.0.1:6379> PERSIST a(integer)1127.0.0.1:6379> ttl a(integer)-1

6.3 Strings

应用场景session 共享常规计数：微博数，粉丝数，订阅、礼物key:value----------（1） set name zhangsan  （2） MSET id 101 name zhangsan age 20 gender m 等价于以下操作： SET id 101  set name zhangsan  set age 20  set gender m（3）计数器每点一次关注，都执行以下命令一次127.0.0.1:6379> incr num显示粉丝数量：127.0.0.1:6379> get num暗箱操作：127.0.0.1:6379> INCRBY num 10000(integer)10006127.0.0.1:6379> get num"10006"127.0.0.1:6379> DECRBY num 10000(integer)6127.0.0.1:6379> get num"6"详细的例子：------------------------------------增set mykey"test"为键设置新值，并覆盖原有值getset mycounter 0              设置值,取值同时进行setex mykey 10"hello"设置指定 Key 的过期时间为10秒,在存活时间可以获取valuesetnx mykey"hello"若该键不存在，则为键设置新值mset key3"zyx"key4"xyz"批量设置键删del mykey                        删除已有键改append mykey"hello"若该键并不存在,返回当前 Value 的长度                                该键已经存在，返回追加后 Value的长度incr mykey                      值增加1,若该key不存在,创建key,初始值设为0,增加后结果为1decrby  mykey  5                值减少5setrange mykey 20 dd            把第21和22个字节,替换为dd,超过value长度,自动补0查  exists mykey                    判断该键是否存在，存在返回 1，否则返回0get mykey                      获取Key对应的valuestrlen mykey                    获取指定 Key 的字符长度ttl mykey                      查看一下指定 Key 的剩余存活时间(秒数)getrange mykey 1 20            获取第2到第20个字节,若20超过value长度,则截取第2个和后面所有的mget key3 key4                  批量获取键

6.4 hash类型（字典类型）

应用场景：存储部分变更的数据，如用户信息等。最接近mysql表结构的一种类型主要是可以做数据库缓存。存数据：hmset stu  id101name zhangsan age20gender mhmset stu1 id102name zhangsan1 age21gender f取数据：HMGETstu id name age genderHMGETstu1 id name age genderselectconcat("hmset city_",id," id ",id," name ",name," countrycode ",countrycode," district ",district," population ",population)fromcity limit10intooutfile'/tmp/hmset.txt'---------------------更多的例子增hset myhash field1"s"若字段field1不存在,创建该键及与其关联的Hashes,Hashes中,key为field1,并设value为s ，若存在会覆盖原valuehsetnx myhash field1 s    若字段field1不存在,创建该键及与其关联的Hashes,Hashes中,key为field1,并设value为s， 若字段field1存在,则无效hmset myhash field1"hello"field2 "world      一次性设置多个字段删hdel myhash field1                      删除 myhash 键中字段名为 field1 的字段del myhash                              删除键改  hincrby myhash field1给field的值加1查hget myhash field1                      获取键值为 myhash,字段为 field1 的值hlen myhash                            获取myhash键的字段数量hexists myhash field1                  判断 myhash 键中是否存在字段名为 field1 的字段hmget myhash field1 field2 field3      一次性获取多个字段hgetall myhash                          返回 myhash 键的所有字段及其值hkeys myhash                            获取myhash 键中所有字段的名字hvals myhash                            获取 myhash 键中所有字段的值

6.5 LIST（列表）

应用场景消息队列系统比如sina微博在Redis中我们的最新微博ID使用了常驻缓存，这是一直更新的。但是做了限制不能超过5000个ID，因此获取ID的函数会一直询问Redis。只有在start/count参数超出了这个范围的时候，才需要去访问数据库。系统不会像传统方式那样“刷新”缓存，Redis实例中的信息永远是一致的。SQL数据库（或是硬盘上的其他类型数据库）只是在用户需要获取“很远”的数据时才会被触发，而主页或第一个评论页是不会麻烦到硬盘上的数据库了。微信朋友圈：127.0.0.1:6379>LPUSHwechat"today is nice day !"127.0.0.1:6379>LPUSHwechat"today is bad day !"127.0.0.1:6379>LPUSHwechat"today is good  day !"127.0.0.1:6379>LPUSHwechat"today is rainy  day !"127.0.0.1:6379>LPUSHwechat"today is friday !"[5,4,3,2,1]01234[e,d,c,b,a]01234127.0.0.1:6379>lrange wechat001)"today is friday !"127.0.0.1:6379>lrange wechat011)"today is friday !"2)"today is rainy  day !"127.0.0.1:6379>lrange wechat021)"today is friday !"2)"today is rainy  day !"3)"today is good  day !"127.0.0.1:6379>lrange wechat03127.0.0.1:6379>lrange wechat-2-11)"today is bad day !"2)"today is nice day !"-----------------增 lpush mykey a b            若key不存在,创建该键及与其关联的List,依次插入a,b， 若List类型的key存在,则插入value中lpushx mykey2 e            若key不存在,此命令无效， 若key存在,则插入value中linsert mykey before a a1  在 a 的前面插入新元素 a1linsert mykey after e e2    在e 的后面插入新元素 e2rpush mykey a b            在链表尾部先插入b,在插入arpushx mykey e              若key存在,在尾部插入e,若key不存在,则无效rpoplpush mykey mykey2      将mykey的尾部元素弹出,再插入到mykey2 的头部(原子性的操作)删del mykey                  删除已有键 lrem mykey2a              从头部开始找,按先后顺序,值为a的元素,删除数量为2个,若存在第3个,则不删除ltrim mykey02从头开始,索引为0,1,2的3个元素,其余全部删除改lset mykey1e              从头开始,将索引为1的元素值,设置为新值 e,若索引越界,则返回错误信息rpoplpush mykey mykey      将 mykey 中的尾部元素移到其头部查lrange mykey0-1取链表中的全部元素，其中0表示第一个元素,-1表示最后一个元素。lrange mykey02从头开始,取索引为0,1,2的元素lrange mykey00从头开始,取第一个元素,从第0个开始,到第0个结束lpop mykey                  获取头部元素,并且弹出头部元素,出栈lindex mykey6从头开始,获取索引为6的元素 若下标越界,则返回nil

6.6 SET 集合类型（join union）

应用场景：案例：在微博应用中，可以将一个用户所有的关注人存在一个集合中，将其所有粉丝存在一个集合。Redis还为集合提供了求交集、并集、差集等操作，可以非常方便的实现如共同关注、共同喜好、二度好友等功能，对上面的所有集合操作，你还可以使用不同的命令选择将结果返回给客户端还是存集到一个新的集合中。127.0.0.1:6379> sadd lxl pg1 jnl baoqiang gsy alexsb(integer)5127.0.0.1:6379> sadd jnl baoqiang ms bbh yf wxg(integer)5127.0.0.1:6379> SUNION lx jnl1)"baoqiang"2)"yf"3)"bbh"4)"ms"5)"wxg"127.0.0.1:6379> SUNION lxl  jnl1)"gsy"2)"yf"3)"alexsb"4)"bbh"5)"jnl"6)"pg1"7)"baoqiang"8)"ms"9)"wxg"127.0.0.1:6379> 127.0.0.1:6379> 127.0.0.1:6379> 127.0.0.1:6379> 127.0.0.1:6379> SINTER lxl jnl1)"baoqiang"127.0.0.1:6379> 127.0.0.1:6379> 127.0.0.1:6379> 127.0.0.1:6379> 127.0.0.1:6379> 127.0.0.1:6379> 127.0.0.1:6379> SDIFF jnl lxl1)"wxg"2)"yf"3)"bbh"4)"ms"127.0.0.1:6379> 127.0.0.1:6379> 127.0.0.1:6379> 127.0.0.1:6379> 127.0.0.1:6379> SDIFF lxl jnl1)"jnl"2)"pg1"3)"gsy"4)"alexsb"增sadd myset a b c  若key不存在,创建该键及与其关联的set,依次插入a,b,若key存在,则插入value中,若a 在myset中已经存在,则插入了 d 和 e 两个新成员。删spop myset              尾部的b被移出,事实上b并不是之前插入的第一个或最后一个成员srem myset a d f        若f不存在,移出 a、d,并返回2改smove myset myset2 a        将a从 myset 移到 myset2，查sismember myset a          判断 a 是否已经存在，返回值为 1 表示存在。smembers myset          查看set中的内容scard myset            获取Set 集合中元素的数量srandmember myset      随机的返回某一成员sdiff myset1 myset2 myset3      1和2得到一个结果,拿这个集合和3比较,获得每个独有的值sdiffstore diffkey myset myset2 myset3      3个集和比较,获取独有的元素,并存入diffkey 关联的Set中sinter myset myset2 myset3              获得3个集合中都有的元素sinterstore interkey myset myset2 myset3  把交集存入interkey 关联的Set中sunion myset myset2 myset3              获取3个集合中的成员的并集sunionstore unionkey myset myset2 myset3  把并集存入unionkey 关联的Set中

6.7 SortedSet（有序集合）

应用场景：排行榜应用，取TOPN操作这个需求与上面需求的不同之处在于，前面操作以时间为权重，这个是以某个条件为权重，比如按顶的次数排序，这时候就需要我们的sorted set出马了，将你要排序的值设置成sorted set的score，将具体的数据设置成相应的value，每次只需要执行一条ZADD命令即可。127.0.0.1:6379>zadd topN0smlt0fskl0fshkl0lzlsfs0wdhbx0wxg(integer)6127.0.0.1:6379>ZINCRBYtopN100000smlt"100000"127.0.0.1:6379>ZINCRBYtopN10000fskl"10000"127.0.0.1:6379>ZINCRBYtopN1000000fshkl"1000000"127.0.0.1:6379>ZINCRBYtopN100lzlsfs"100"127.0.0.1:6379>ZINCRBYtopN10wdhbx"10"127.0.0.1:6379>ZINCRBYtopN100000000wxg"100000000"127.0.0.1:6379>ZREVRANGEtopN021)"wxg"2)"fshkl"3)"smlt"127.0.0.1:6379>ZREVRANGEtopN02withscores1)"wxg"2)"100000000"3)"fshkl"4)"1000000"5)"smlt"6)"100000"127.0.0.1:6379>增zadd myzset2"two"3"three"添加两个分数分别是2和3的两个成员删zrem myzset one two                删除多个成员变量,返回删除的数量改zincrby myzset2one                将成员 one 的分数增加2，并返回该成员更新后的分数查 zrange myzset0-1WITHSCORES返回所有成员和分数,不加WITHSCORES,只返回成员zrank myzset one                    获取成员one在Sorted-Set中的位置索引值。0表示第一个位置zcard myzset                        获取 myzset 键中成员的数量zcount myzset12获取分数满足表达式1<=score<=2的成员的数量zscore myzset three                获取成员 three 的分数zrangebyscore myzset12获取分数满足表达式1<score<=2的成员#-inf 表示第一个成员，+inf最后一个成员#limit限制关键字#2  3  是索引号zrangebyscore myzset-inf+inf limit23返回索引是2和3的成员zremrangebyscore myzset12删除分数1<=score<=2的成员，并返回实际删除的数量zremrangebyrank myzset01删除位置索引满足表达式0<=rank<=1的成员zrevrange myzset0-1WITHSCORES按位置索引从高到低,获取所有成员和分数#原始成员:位置索引从小到大one0two1#执行顺序:把索引反转位置索引:从大到小      one1two0#输出结果: two  onezrevrange myzset13获取位置索引,为1,2,3的成员#相反的顺序:从高到低的顺序zrevrangebyscore myzset30获取分数3>=score>=0的成员并以相反的顺序输出zrevrangebyscore myzset40limit12获取索引是1和2的成员,并反转位置索引

7. 发布订阅

need-to-insert-img

image.png

PUBLISH channel msg    将信息 message 发送到指定的频道 channelSUBSCRIBE channel [channel ...]    订阅频道，可以同时订阅多个频道UNSUBSCRIBE [channel ...]    取消订阅指定的频道,如果不指定频道，则会取消订阅所有频道PSUBSCRIBE pattern [pattern ...]    订阅一个或多个符合给定模式的频道，每个模式以 * 作为匹配符，比如 it* 匹配所  有以 it 开头的频道(it.news 、 it.blog 、 it.tweets 等等)， news.* 匹配所有 以 news. 开头的频道(news.it 、 news.global.today 等等)，诸如此类PUNSUBSCRIBE [pattern [pattern ...]]    退订指定的规则,如果没有参数则会退订所有规则PUBSUB subcommand [argument [argument ...]]    查看订阅与发布系统状态注意：使用发布订阅模式实现的消息队列，当有客户端订阅channel后只能收到后续发布到该频道的消息，之前发送的不会缓存，必须Provider和Consumer同时在线。发布订阅例子：窗口1：127.0.0.1:6379> SUBSCRIBE baodi 窗口2：127.0.0.1:6379> PUBLISH baodi"jin tian zhen kaixin!"订阅多频道：窗口1：127.0.0.1:6379> PSUBSCRIBE wang*窗口2：127.0.0.1:6379> PUBLISH wangbaoqiang"jintian zhennanshou "

8、Redis事务

redis的事务是基于队列实现的。mysql的事务是基于事务日志和锁机制实现的。redis是乐观锁机制。开启事务功能时（multi）multi command1      command2command3command4exec discard4条语句作为一个组，并没有真正执行，而是被放入同一队列中。如果，这是执行discard，会直接丢弃队列中所有的命令，而不是做回滚。exec当执行exec时，对列中所有操作，要么全成功要么全失败127.0.0.1:6379> set a bOK127.0.0.1:6379> MULTIOK127.0.0.1:6379> set a bQUEUED127.0.0.1:6379> set c dQUEUED127.0.0.1:6379> exec1)OK2)OK

9. redis乐观锁实现（模拟买票）

发布一张票set ticket 1窗口1：watch ticketmultiset ticket 0      1---->0窗口2：multi set ticket 0 exec 窗口1：exec

10、 服务器管理命令

InfoClientlistClientkill ip:portconfigget*CONFIGRESETSTAT 重置统计CONFIGGET/SET 动态修改DbsizeFLUSHALL 清空所有数据select1FLUSHDB 清空当前库MONITOR 监控实时指令SHUTDOWN 关闭服务器关闭数据库：redis-cli-a root shutdown

11、redis（Master-Replicaset） *****

11.1 原理：

1. 副本库通过slaveof 10.0.0.51 6379命令,连接主库,并发送SYNC给主库 2. 主库收到SYNC,会立即触发BGSAVE,后台保存RDB,发送给副本库3. 副本库接收后会应用RDB快照4. 主库会陆续将中间产生的新的操作,保存并发送给副本库5. 到此,我们主复制集就正常工作了6. 再此以后,主库只要发生新的操作,都会以命令传播的形式自动发送给副本库.7. 所有复制相关信息,从info信息中都可以查到.即使重启任何节点,他的主从关系依然都在.8. 如果发生主从关系断开时,从库数据没有任何损坏,在下次重连之后,从库发送PSYNC给主库9. 主库只会将从库缺失部分的数据同步给从库应用,达到快速恢复主从的目的

11.2 主从数据一致性保证

min-slaves-to-write1min-slaves-max-lag3

11.3 主库是否要开启持久化？

如果不开有可能，主库重启操作，造成所有主从数据丢失！

12. 主从复制实现

1、环境：准备两个或两个以上redis实例mkdir/data/638{0..2}配置文件示例：cat>>/data/6380/redis.conf<<EOFport6380daemonize yespidfile/data/6380/redis.pidloglevel noticelogfile"/data/6380/redis.log"dbfilename dump.rdbdir/data/6380requirepass123masterauth123EOFcat>>/data/6381/redis.conf<<EOFport6381daemonize yespidfile/data/6381/redis.pidloglevel noticelogfile"/data/6381/redis.log"dbfilename dump.rdbdir/data/6381requirepass123masterauth123EOFcat>>/data/6382/redis.conf<<EOFport6382daemonize yespidfile/data/6382/redis.pidloglevel noticelogfile"/data/6382/redis.log"dbfilename dump.rdbdir/data/6382requirepass123masterauth123EOF启动：redis-server/data/6380/redis.confredis-server/data/6381/redis.confredis-server/data/6382/redis.conf主节点：6380从节点：6381、63822、开启主从：6381/6382命令行:redis-cli-p6381-a123SLAVEOF127.0.0.16380redis-cli-p6382-a123SLAVEOF127.0.0.163803、查询主从状态 redis-cli-p6380-a123info replication redis-cli-p6381-a123info replication redis-cli-p6382-a123info replication

13 redis-sentinel（哨兵）

1、监控2、自动选主，切换（6381slaveof no one）3、2号从库（6382）指向新主库（6381）4、应用透明5、自动处理故障节点sentinel搭建过程mkdir/data/26380cd/data/26380vim sentinel.confport26380dir"/data/26380"sentinel monitor mymaster127.0.0.163801sentinel down-after-milliseconds mymaster5000sentinel auth-pass mymaster123启动：[root@db0126380]# redis-sentinel/data/26380/sentinel.conf&>/tmp/sentinel.log&==============================如果有问题：1、重新准备1主2从环境2、kill掉sentinel进程3、删除sentinel目录下的所有文件4、重新搭建sentinel======================================停主库测试：[root@db01~]# redis-cli-p6380shutdown[root@db01~]# redis-cli-p6381info replication启动源主库（6380），看状态。Sentinel管理命令：redis-cli-p26380PING ：返回 PONG 。SENTINELmasters ：列出所有被监视的主服务器SENTINELslaves<master name>SENTINELget-master-addr-by-name<master name>： 返回给定名字的主服务器的 IP 地址和端口号。SENTINELreset<pattern>： 重置所有名字和给定模式 pattern 相匹配的主服务器。SENTINELfailover<master name>： 当主服务器失效时， 在不询问其他 Sentinel 意见的情况下， 强制开始一次自动故障迁移。

14. redis cluster

image.png

14.1 介绍

高性能

1、在多分片节点中，将16384个槽位，均匀分布到多个分片节点中2、存数据时，将key做crc16(key),然后和16384进行取模，得出槽位值（0-16383之间）3、根据计算得出的槽位值，找到相对应的分片节点的主节点，存储到相应槽位上4、如果客户端当时连接的节点不是将来要存储的分片节点，分片集群会将客户端连接切换至真正存储节点进行数据存储

高可用：

在搭建集群时，会为每一个分片的主节点，对应一个从节点，实现slaveof的功能，同时当主节点down，实现类似于sentinel的自动failover的功能。1、redis会有多组分片构成（3组）2、redis cluster 使用固定个数的slot存储数据（一共16384slot）3、每组分片分得1/3 slot个数（0-5500  5501-11000  11001-16383）4、基于CRC16(key) % 16384 ====》值 （槽位号）。

14.2 规划、搭建过程：

6个redis实例，一般会放到3台硬件服务器注：在企业规划中，一个分片的两个分到不同的物理机，防止硬件主机宕机造成的整个分片数据丢失。端口号：7000-7005

安装集群插件

EPEL源安装ruby支持yum install ruby rubygems-y使用国内源gem sources-lgem sources-a http://mirrors.aliyun.com/rubygems/gem sources--removehttps://rubygems.org/gem sources-lgem install redis-v3.3.3

集群节点准备

mkdir/data/700{0..5}cat>/data/7000/redis.conf<<EOFport7000daemonize yespidfile/data/7000/redis.pidloglevel noticelogfile"/data/7000/redis.log"dbfilename dump.rdbdir/data/7000protected-mode nocluster-enabled yescluster-config-file nodes.confcluster-node-timeout5000appendonly yesEOFcat>>/data/7001/redis.conf<<EOFport7001daemonize yespidfile/data/7001/redis.pidloglevel noticelogfile"/data/7001/redis.log"dbfilename dump.rdbdir/data/7001protected-mode nocluster-enabled yescluster-config-file nodes.confcluster-node-timeout5000appendonly yesEOFcat>>/data/7002/redis.conf<<EOFport7002daemonize yespidfile/data/7002/redis.pidloglevel noticelogfile"/data/7002/redis.log"dbfilename dump.rdbdir/data/7002protected-mode nocluster-enabled yescluster-config-file nodes.confcluster-node-timeout5000appendonly yesEOFcat>>/data/7003/redis.conf<<EOFport7003daemonize yespidfile/data/7003/redis.pidloglevel noticelogfile"/data/7003/redis.log"dbfilename dump.rdbdir/data/7003protected-mode nocluster-enabled yescluster-config-file nodes.confcluster-node-timeout5000appendonly yesEOFcat>>/data/7004/redis.conf<<EOFport7004daemonize yespidfile/data/7004/redis.pidloglevel noticelogfile"/data/7004/redis.log"dbfilename dump.rdbdir/data/7004protected-mode nocluster-enabled yescluster-config-file nodes.confcluster-node-timeout5000appendonly yesEOFcat>>/data/7005/redis.conf<<EOFport7005daemonize yespidfile/data/7005/redis.pidloglevel noticelogfile"/data/7005/redis.log"dbfilename dump.rdbdir/data/7005protected-mode nocluster-enabled yescluster-config-file nodes.confcluster-node-timeout5000appendonly yesEOF

启动节点：

redis-server/data/7000/redis.conf redis-server/data/7001/redis.conf redis-server/data/7002/redis.conf redis-server/data/7003/redis.conf redis-server/data/7004/redis.conf redis-server/data/7005/redis.conf[root@db01 ~]# ps-ef |grep redisroot88541003:56?00:00:00redis-server*:7000[cluster]root88581003:56?00:00:00redis-server*:7001[cluster]root88601003:56?00:00:00redis-server*:7002[cluster]root88641003:56?00:00:00redis-server*:7003[cluster]root88661003:56?00:00:00redis-server*:7004[cluster]root88741003:56?00:00:00redis-server*:7005[cluster]

将节点加入集群管理

redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 \127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

集群状态查看

集群主节点状态redis-cli-p7000cluster nodes|grep master集群从节点状态redis-cli-p7000cluster nodes|grep slave

14.3 集群节点管理

增加新的节点

mkdir/data/7006mkdir/data/7007cat>/data/7006/redis.conf<<EOFport7006daemonize yespidfile/data/7006/redis.pidloglevel noticelogfile"/data/7006/redis.log"dbfilename dump.rdbdir/data/7006protected-mode nocluster-enabled yescluster-config-file nodes.confcluster-node-timeout5000appendonly yesEOFcat>/data/7007/redis.conf<<EOFport7007daemonize yespidfile/data/7007/redis.pidloglevel noticelogfile"/data/7007/redis.log"dbfilename dump.rdbdir/data/7007protected-mode nocluster-enabled yescluster-config-file nodes.confcluster-node-timeout5000appendonly yesEOFredis-server/data/7006/redis.conf redis-server/data/7007/redis.conf

添加主节点：

redis-trib.rb add-node 127.0.0.1:7006 127.0.0.1:7000

转移slot（重新分片）

redis-trib.rb reshard 127.0.0.1:7000

添加一个从节点

redis-trib.rb add-node --slave --master-id 8ff9ef5b78e6da62bd7b362e1fe190cba19ef5ae 127.0.0.1:7007 127.0.0.1:7000

14.4 删除节点

将需要删除节点slot移动走

redis-trib.rb reshard 127.0.0.1:700049257f251824dd815bc7f31e1118b670365e861a 127.0.0.1:70060-1364 5461-6826 10923-122871365      1366    1365

删除一个节点

删除master节点之前首先要使用reshard移除master的全部slot,然后再删除当前节点redis-trib.rb del-node 127.0.0.1:7006 8ff9ef5b78e6da62bd7b362e1fe190cba19ef5ae---------------------设置redis最大内存config set maxmemory 102400000---------------------

15.  redis的多API支持

python为例yum install-y python36 python3-Vyum install-y python36-pippip3 install redis pip3 install redis-py-cluster++++++++++++源码方式+++++++++++++++https://redis.io/clients下载redis-py-master.zip安装驱动：unzip redis-py-master.zipcd redis-py-masterpython3 setup.py installredis cluster的连接并操作（python2.7.2以上版本才支持redis cluster，我们选择的是3.6）https://github.com/Grokzen/redis-py-cluster安装redis-cluser的客户端程序cd redis-py-cluster-unstablepython3 setup.py install+++++++++++++++++++++++++++++++++

对redis的单实例进行连接操作

[root@db01~]# redis-server /data/6379/redis.conf python3>>>import redis>>>r=redis.StrictRedis(host='10.0.0.51',port=6379,db=0,password='123456')>>>r.set('oldboy','oldguo')>>>r.get('oldboy')

sentinel集群连接并操作

[root@db01~]# redis-server /data/6380/redis.conf[root@db01~]# redis-server /data/6381/redis.conf[root@db01~]# redis-server /data/6382/redis.conf [root@db01~]# redis-sentinel /data/26380/sentinel.conf &--------------------------------## 导入redis sentinel包>>>from redis.sentinel importSentinel##指定sentinel的地址和端口号>>>sentinel=Sentinel([('localhost',26380)],socket_timeout=0.1)##测试，获取以下主库和从库的信息>>>sentinel.discover_master('mymaster')>>>sentinel.discover_slaves('mymaster')

配置读写分离

#写节点>>>master=sentinel.master_for('mymaster',socket_timeout=0.1,password="123")#读节点>>>slave=sentinel.slave_for('mymaster',socket_timeout=0.1,password="123")###读写分离测试  key    >>>master.set('oldboy','123')>>>slave.get('oldboy')

python连接rediscluster集群测试

使用python3>>>fromredisclusterimportStrictRedisCluster>>>startup_nodes=[{"host":"127.0.0.1","port":"7000"},{"host":"127.0.0.1","port":"7001"},{"host":"127.0.0.1","port":"7002"}]### Note: decode_responses must be set to True when used with python3  >>>rc=StrictRedisCluster(startup_nodes=startup_nodes,decode_responses=True)>>>rc.set("foo","bar")True>>>print(rc.get("foo"))'bar'

16.一些概念

缓存穿透

概念访问一个不存在的key，缓存不起作用，请求会穿透到DB，流量大时DB会挂掉。解决方案采用布隆过滤器，使用一个足够大的bitmap，用于存储可能访问的key，不存在的key直接被过滤；访问key未在DB查询到值，也将空值写进缓存，但可以设置较短过期时间。

缓存雪崩

概念大量的key设置了相同的过期时间，导致在缓存在同一时刻全部失效，造成瞬时DB请求量大、压力骤增，引起雪崩。解决方案可以给缓存设置过期时间时加上一个随机值时间，使得每个key的过期时间分布开来，不会集中在同一时刻失效。

缓存击穿

概念一个存在的key，在缓存过期的一刻，同时有大量的请求，这些请求都会击穿到DB，造成瞬时DB请求量大、压力骤增。解决方案在访问key之前，采用SETNX（set if not exists）来设置另一个短期key来锁住当前key的访问，访问结束再删除该短期key。

========================Redis END=======================

作者：MySQL_oldguo

链接：https://www.jianshu.com/p/8af6177f4c23

来源：简书

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。