Redis集群

集群

与普通应用集群类似,Redis集群主要解决两个问题:

  • 结构上的单点故障,采用主从架构
  • 容量上内存瓶颈,对数据进行分片,保存在不同的主机,即cluster

主从复制

Redis本身提供了replication的功能,可以实现主Redis服务器到从Redis服务器的数据复制。
读写分离:主服务器进行读写操作,从数据库只能进行读取操作(其实也可以通过配置slave-read-only为no,开启写功能,但是没什么意义,最终还是会被主的数据覆盖)。

可以为从服务器在添加从服务器,形成分层结构。

主从复制的原理
1、复制初始化阶段:从redis服务器向主服务器发送SYNC(2.8版本后使用PSYNC),主服务器接收到命令后开始进行持久化RDB备份操作,操作期间的命令放在缓存中,备份完成后将RDB数据和缓存中的数据一起发送给从服务器。
2、复制同步阶段:主服务器接收到新的写入数据的同时向从服务器写入(积压队列的原理)。

配置主从

Redis配置主从模式很简单。

  • 主服务器无需任何修改
  • 从服务器的配置文件中配置slaveof 主redisIP或域名 主redis端口号即可,如果配置了密码保护,需要在配置文件中添加masterauth 主redis的密码

也可以通过redis-cli命令行中执行SLAVEOF 主IP 主PORT,命令SLAVEOF NO ONE表示告诉自己没有主节点。

配置完成后可以使用INFO replication命令查看服务器状态信息。

从数据库持久化

主从模式搭建完成后,禁用主服务器的持久化,开启从服务器的持久化。
优点:提高主服务器的性能。
缺点:维护麻烦。
如果主服务器故障时,需要手动通过从服务器恢复主服务器数据,操作流程:
1、使用SLAVEOF NO ONE命令将从服务器提升为主;
2、在主服务器上执行SLAVEOF将自己设置成新主服务器的从服务器。

注意:故障的主服务器不能重启,不能使用supervisor管控

无盘复制

主服务器完全不使用持久化,需要关闭所有的RDB规则的同时配置repl-diskless-sync yes测试阶段

哨兵(sentinel)

主从集群主要起到了数据冗余、读写分离的作用,但是如果出现主服务器故障的问题,不能快速发现且需要人工去切换主从节点。
而哨兵则可以完成对主从服务器的监控和主从自动切换
特点

  • 一个哨兵可以监控多个主从Redis集群
  • 一个主从Redis集群可以被多个哨兵监控
  • 哨兵之间可以相互监控
哨兵部署原则
  • 无论主从各部署一个哨兵
  • 每个哨兵与其对应的节点网络相同或相近
哨兵配置

主要配置解读:
port 26379 哨兵监听的端口
daemonize yes 后台启动
protected-mode no 关闭保护模式
sentinel monitor master01 10.0.0.68 6379 2 监控的master的名字叫做master01(自定义),地址为10.0.0.68:6379(主节点的ip与端口),行尾最后的一个2代表在sentinel集群中,多少个sentinel认为masters死了,才能真正认为该master不可用了。
sentinel auth-pass master01 000000连接密码
sentinel down-after-milliseconds master01 15000 sentinel会向master发送心跳PING来确认master是否存活,如果master在“一定时间范围”内不回应PONG 或者是回复了一个错误消息,那么这个sentinel会主观地(单方面地)认为这个master已经不可用了(subjectively down, 也简称为SDOWN)。而这个down-after-milliseconds就是用来指定这个“一定时间范围”的,单位是毫秒
sentinel failover-timeout master01 120000 failover过期时间,当failover开始后,在此时间内仍然没有触发任何failover操作,当前sentinel将会认为此次failoer失败。

哨兵实现的原理

哨兵启动后与主服务器建立两条连接:

  • 订阅主服务器的sentinel:hello频道获取其他监控此节点的哨兵信息
  • 定期向主节点发送INFO指令获取主服务器的信息

哨兵定期执行的操作:
1、每10秒向主从服务器发送INFO命令;
2、每2秒向主从服务器的sentinel:hello频道发送自己的信息;
3、每1秒向主从服务器和其他哨兵发送心跳PING;

主服务下线判断原则:

  • 主观下线:当前哨兵判断节点下线;
  • 客观下线:询问其他哨兵后且认为其下线的哨兵个数为quorum参数值

如果被判定为客观下线后哨兵们会通过raft算法选举出领头哨兵负责去切换主从,选择的原则为过半原则

主节点的选择依据:
1、通过slave-priority参数的优先级;
2、复制越完全越优先;
3、以上判断不了的话看节点ID大小,选择小的。

CLUSETER集群

集群支持几乎所有单机实例的命令,但是涉及多键的命令,比如MGET如果这些键在同一个节点上可以正常执行,但是如果不在同一个节点上就会出现问题。(这里所说的是在一个节点上操作,对于开发人员不必关心,因为有些开发语言已经提供了现成的库)

特点:

  • 在Redis集群中所有节点都使用0号数据库,可以暂时理解为没有了库号的概念;
  • 在Redis集群中键被分配到插槽slot中,每个集群有16384个插槽,编号从0到16383;
  • 每个节点管理部分插槽,所以键是分布在不同节点上的;
  • 至少3个主节点,可以没有从节点,但是实际中没有这么干的;

集群配置

1、修改配置文件

  • 每个节点配置文件中添加cluster-enabled yes
  • 配置cluster-config-file node-1.conf,每个节点名字不同
    执行完成后使用INFO cluster查看集群是否开启。

2、使用redis-trib.rb(Ruby语言开发的,跟我没关系)工具配置集群,命令如下:
redis-trib.rb --replicas 1 192.168.1.10:6379 192.168.1.11:6379 192.168.1.12:6379 192.168.1.13:6379 192.168.1.14:6379 192.168.1.15:6379
解读:共6个节点,--replicas 1的意思是每个主节点1个从节点,所以计算下来就是3主3从。
执行完成后使用INFO NODES查看节点信息。

以上配置完成后,每个节点相互间会发送PING命令,来确定对方是否还好好活着。

节点添加

向新节点上使用cluster meet ip port,注意IP和PORT是集群中任何一个节点的IP和port,任何一个节点接受到之后会告知其他节点。
以上操作仅仅是加入一个新节点,至于让它作为主节点还是从节点还需下一步操作:

  • 如果作为主节点,需要申请插槽(如果是这种情况一般一次性添加至少2个节点,即1主1从),使用redis-trib.rb reshard IP:port进行重新分片,通过cluster slots查看插槽的分布情况
  • 如果作为从节点,使用cluster replicate 主redis的ID命令

键的分配

原则:将键名的有效部分的CRC16算法计算后跟16384取余。
有效部分:
1、包含{}的键名,有效部分为花阔里面的,如键名为{student}:name有效部分为student
2、不包含{}的键名,整个键名都是有效部分。

键和插槽的对应

之前说过,开发人员无需担心键名在哪里,因为它们使用的语言有现成的库工具会自动处理。但是如果不支持的语言呢?

这个时候要通过一个新的概念,MOVE重定向请求
比如:主节点A和B,A节点执行:
set name hades
在B节点上再次执行时,回返回如下:
(error) MOVE 槽位号 IP:PORT
它会告诉你应该在哪里执行。

Redis-cli客户端提供了集群模式支持自动的重定向,如下:
redis-cli -c -h 127.0.0.1 -p 6379

注意:这个时候是把命令重定向发送给另一个节点了,会有请求延时。但是无需担心,redis提供了路由的功能,会把槽位和节点缓存下来,所以说慢慢会好的。

memcache缓存介绍

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 220,809评论 6 513
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,189评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 167,290评论 0 359
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,399评论 1 294
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,425评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,116评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,710评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,629评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,155评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,261评论 3 339
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,399评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,068评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,758评论 3 332
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,252评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,381评论 1 271
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,747评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,402评论 2 358

推荐阅读更多精彩内容