10.2 、搭建集群

搭建集群

介绍完Redis集群分区规则之后,下面我们开始搭建Redis集群。搭建集群工作需要以下三个步骤:

  • 准备节点。
  • 节点握手。
  • 分配槽。
  1. 准备节点

    Redis集群一般有多个节点组成,节点数量至少为6个才能保证组成完整高可用的集群。每个节点需要配置cluster-enabled yes,让Redis运行在集群模式下。建议为集群内所有节点统一目录,一般划分为三个目录:conf、data、log,分别存放配置、数据和日志相关文件。把6个节点配置统一放在conf目录下,集群相关配置如下:

    # 节点端口
    port 6379
    # 开启集群模式
    cluster-enabled yes
    # 节点超时时间,单位毫秒
    cluster-node-timeout 15000
    # 集群内部配置文件
    cluster-config-file "node-6379.conf"
    

    其他配置和单机模式一致即可,配置文件命名规则:redis-{config}.conf,准备好配置后启动所有节点并检查入职是否正确,日志内容如下:

    cat log/redis-6379.log
    * No cluster configuration found, I'm d5671ff4160ab3782d61079wbd62ff629aaaf601
    # Server started, Redis version 3.0.7
    * The server is now ready to accept connections on port 6379
    

    6379节点启动成功,第一次启动时如果没有集群配置文件,它会自动创建一份,文件名称采用cluster-config-file参数项控制,建议采用node-{port}.conf格式定义,通过使用端口号区分不同节点,防止同一机器下多个节点彼此覆盖,造成集群信息异常。如果启动时存在集群配置文件,节点hiUShi哟ing配置文件内容初始化集群信息。

    集群模式的Redis除了原有的配置文件之外又加了一份集群配置文件。当集群内节点信息发生变化,如添加节点、节点下线、故障转移等。节点会自动保存集群状态到配置文件中。需要注意的是,Redis自动维护集群配置文件,不要手动修改,防止节点重启时产生集群信息错乱。

    如节点6379首次启动后生成集群配置如下:

    # cat data/nodes-6379.conmf
    d5671ff4160ab3782d61079wbd62ff629aaaf601 127.0.0.1:6379 myself,master - 0 0 0 connected vars currentEpoch 0 lastVoteEpoch 0
    

    文件内容记录了集群初识状态,这里最重要的是节点ID,它是一个40位16进制字符串,用于唯一标识集群内一个节点,之后很多集群操作都要借助于节点ID来完成。需要注意的是,节点ID不同于运行ID。节点ID在集群初始化时只创建一次,节点重启时会加载集群配置文件进行重用,而Redis的运行ID每次重启都会变化。每个节点目前只能识别出自己的节点信息。我们启动了6个节点,但每个节点彼此并不知道对方的存在,下面通过节点握手让6个节点彼此建立联系从而组成一个集群。

  2. 节点握手

    节点握手是指一批运行在集群模式下的节点通过Gossip协议彼此通信,达到感知对方的过程。节点握手是集群彼此通信的第一步,有客户端发起命令:cluster meet {ip} {port}。

    此过程为:cluster meet 127.0.0.1 6380让节点6379和6380节点进行握手通信。cluster meet命令是一个异步命令,执行之后立刻返回。内部发起与目标节点进行握手通信:

    1)节点6379本地创建6380节点信息对象,并发送meet信息。

    2)节点6380接受到meet消息后,保存6379节点信息并回复pong消息。

    3)之后节点6379和6380彼此定期通过ping/pong消息进行正常的节点通信。

    这里的meet、ping、pong消息是Gossip协议通信的载体,之后的节点通信部分做进一步介绍,它的主要作用是节点彼此交换状态数据信息。

    我们只需要在集群内任意节点上执行cluster meet名加入新节点,握手状态会通过消息在集群内传播,这样其他节点会自动发现新节点并发起握手流程。最后执行cluster nodes命令确认6个节点都彼此感知并组成集群。

    节点建立握手之后集群还不能正常工作,这是集群处于下线状态,所有的数据读写都被禁止。通过cluster info命令可以获取集群当前状态:

    127.0.0.1:6379> cluster info
    cluster_state:fail
    cluster_slots_assigned:0
    cluster_slots_ok:0
    cluster_slots_pfail:0
    cluster_slots_fail:0
    cluster_known_nodes:6
    cluster_size:0
    

    从输出内容可以看到,被分配的槽(cluster_slots_assigned)是0,由于目前所有的槽没有分配到节点,因此集群无法完成槽到节点的映射。只有当16384个槽全部分配给节点后,集群才能进入在线状态。

  3. 分配槽

    Redis集群把所有的数据映射到16384个槽中。每个key会映射为一个固定的槽,只有当节点分配了槽,才能响应和这些槽关联的键命令。通过cluster addslots命令为节点分配槽。这里利用bash特性批量设置槽(slots),命令如下:

    redis-cli -h 127.0.0.1 -p 6379 cluster addslots{0 ... 5461}
    redis-cli -h 127.0.0.1 -p 6379 cluster addslots {5462 ... 10922}
    redis-cli -h 127.0.0.1 -p 6379 cluster addslots {10922 ... 16383}
    

    把16384个slot平均分配给6379、6380、6381三个节点。执行cluster info查看集群状态,如下所示:

    127.0.0.1:6379> cluster info
    cluster_state:ok
    cluster_slots_assigned:16384
    cluster_slots_ok:16384
    cluster_slots_pfail:0
    cluster_slots_fail:0
    cluster_known_nodes:6
    cluster_size:3
    cluster_current_epoch:5
    cluster_my_epoch:0
    cluster_stats_messages:4874
    cluster_stats_messages_received:4726
    

    当前集群状态是OK,集群进入在线状态。所有的槽都已经分配给节点。

    目前还有三个节点没有使用,作为一个完整的集群,每个负责处理槽的节点应该具有从节点,保证他出现故障时可以自动进行故障转移。集群模式下,Redis节点角色分为主节点和从节点。首次启动的节点和被分配槽的节点都是主节点,从节点负责复制主节点槽信息和相关数据。使用cluster relicate {nodeId}命令让一个节点成为从节点。其中命令执行必须在对应从节点上执行,nodeId是要复制主节点的节点ID。

    Redis集群模式下的主从复制使用了之前介绍的Redis复制流程,依然支持全量和部分复制。

    目前为止,我们依照Redis协议手动建立了一个集群。它有6个节点构成,3个主节点负责处理槽和相关数据,3个从节点负责故障转移。手动搭建集群便于理解集群建立的流程和细节,不过读者也从中发现集群搭建需要很多步骤,当集群节点众多时,必然会加大搭建集群的复杂度和运维成本。因此Redis官方提供了redis-trib.rb工具方便我们快速搭建集群。

  4. 用redis-trib.rb搭建集群

    redis-trib.rb是采用Ruby实现的Redis集群管理工具。内部通过Cluster相关命令帮我们简化集群创建、检查、槽迁移和均衡等常见运维操作,使用之前需要安装Ruby依赖环境。下面介绍搭建集群的详细步骤。

    1. Ruby环境准备

      安装Ruby:

      -- 下载 ruby
      wget https://cache.ruby-lang.org/pub/ruby/2.3/ruby-2.3.1.tar.gz
      -- 安装 ruby
      tar xvf ruby-2.3.1.tar.gz
      ./confgure -prefix=/usr/local/ruby
      make 
      make install
      cd /usr/local/ruby
      sudo cp bin/ruby /usr/local/bin
      sudo cp bin/gem /usr/local/bin
      

      安装rubygem redis依赖:

      wget http://rubygems.org/downlaods/redis-3.3.0.gem
      gem install -1 redis-3.3.0.gem
      gem list --check redis gem
      

      安装redis-trib.rb:

      sudo cp /{redis_home}/src/redis-trib.rb /usr/local/bin
      

      安装完Ruby环境后,执行redis-trib.rb命令确认环境是否正确。

      从redis-trib.rb的提示信息可以看出,它提供了集群创建、检查、修复、均衡等命令行工具。这里我们关注集群创建命令,使用redis-trib.rb create命令可快速搭建集群。

    2. 准备节点

      首先我们跟之前内容一样准备好节点配置并启动。

    3. 创建集群

      启动好6个节点之后,使用redis-trib.rb create命令完成节点握手和分配槽过程,命令如下:

      redis-trib.rb create --replicas 1 127.0.0.1:6481  127.0.0.1:6482 127.0.0.1:6483 127.0.0.1:6484 127.0.0.1:6485 127.0.0.1:6486
      

      --replicas参数指定集群中每个主节点配备几个从节点,这里设置为1.我们出于测试目的使用本地IP地址 127.0.0.1,如果部署节点使用不同的IP地址,redis-trib.rb会尽可能保证主从节点不分配在同一机器下,因此会重新排序节点列表顺序。节点列表顺序用于确定主从角色,先主节点之后是从节点。创建过程中首先会给出主节点角色分配的计划。

      之后我们需要统一这份计划并输入yes,redis-trib.rb开始执行节点握手和槽分配操作。

      最后的输出报告会说明:16384个槽全部被分配,集群创建成功。这里需要注意给redis-trib.rb的节点地址必须是不包含任何槽/数据的节点,否则会拒绝创建集群。

    4. 集群完整性检查

      集群完整性猴子所有的槽都分配到存活的主节点上,只要16384个槽中有一个没有分配给节点则表示集群不完整。可以使用redis-trib.rb check命令检测之前创建的两个集群是否成功,check命令只需要给出集群中任意一个节点地址就可以完成整个集群的检查工作,命令如下:

      redis-trib.rb check  127.0.0.1:6481
      redis-trib.rb check  127.0.0.1:6482
      

      当最后输出如下信息,提示集群所有的槽都已分配到节点:

      [OK] All nodes agree about slots configuration.
      >>> Check for open slots...
      >>> Check slots coverage...
      [OK] All 16384 slots covered.
      
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,921评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,635评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,393评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,836评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,833评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,685评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,043评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,694评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,671评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,670评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,779评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,424评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,027评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,984评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,214评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,108评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,517评论 2 343

推荐阅读更多精彩内容

  • 1 Redis介绍1.1 什么是NoSql为了解决高并发、高可扩展、高可用、大数据存储问题而产生的数据库解决方...
    克鲁德李阅读 5,265评论 0 36
  • redis集群分为服务端集群和客户端分片,redis3.0以上版本实现了集群机制,即服务端集群,3.0以下使用客户...
    hadoop_null阅读 1,585评论 0 6
  • 一、redis cluster简介 Redis在3.0版正式引入了集群这个特性。 Redis集群是一个提供在多个R...
    张伟科阅读 1,615评论 0 4
  • NOSQL类型简介键值对:会使用到一个哈希表,表中有一个特定的键和一个指针指向特定的数据,如redis,volde...
    MicoCube阅读 3,958评论 2 27
  • 《梁宁--产品思维30讲》05同理心训练:产品要顺应用户潜意识 三大产品经理~~~ 做出Facebook的扎克伯格...
    莫从良阅读 269评论 0 0