redis主从复制、哨兵服务、数据持久化

redis主从复制

一主一从结构

graph LR
redis1(redis1:192.168.1.11)-->redis2(redis2:192.168.1.12)
  • 恢复redis1和redis2的redis默认配置
[root@redis1 ~]# vim /etc/redis/6379.conf 
# cluster-enabled yes
# cluster-config-file nodes-6379.conf
# cluster-node-timeout 5000

[root@redis1 ~]# service redis_6379 stop
[root@redis1 ~]# rm -f /var/lib/redis/6379/*
[root@redis1 ~]# service redis_6379 start

[root@redis2 ~]# vim /etc/redis/6379.conf 
# cluster-enabled yes
# cluster-config-file nodes-6379.conf
# cluster-node-timeout 5000

[root@redis2 ~]# service redis_6379 stop
[root@redis2 ~]# rm -f /var/lib/redis/6379/*
[root@redis2 ~]# service redis_6379 start
  • 默认redis都是主服务器,所以无需配置
[root@redis1 ~]# redis-cli 
127.0.0.1:6379> INFO replication
# Replication
role:master
connected_slaves:0
master_replid:a839f0060f5e8d9894a1fafeeea973c3c52e5e71
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
  • 配置redis2(192.168.1.12)为redis1的从服务器

    • 通过命令进行配置(临时生效)
    [root@redis2 ~]# redis-cli 
    127.0.0.1:6379> SLAVEOF 192.168.1.11 6379
    OK
    
    127.0.0.1:6379> INFO replication
    # Replication
    role:slave
    master_host:192.168.1.11
    master_port:6379
    master_link_status:up
    master_last_io_seconds_ago:3
    master_sync_in_progress:0
    slave_repl_offset:14
    slave_priority:100
    slave_read_only:1
    connected_slaves:0
    master_replid:7a4326738b63379fc5def4177a1ba6fff33d0a98
    master_replid2:0000000000000000000000000000000000000000
    master_repl_offset:14
    second_repl_offset:-1
    repl_backlog_active:1
    repl_backlog_size:1048576
    repl_backlog_first_byte_offset:1
    repl_backlog_histlen:14
    
    • 永久生效
    [root@redis2 ~]# vim /etc/redis/6379.conf 
    slaveof 192.168.1.11 6379
    
  • 测试配置

# 在主服务器上添加数据
[root@redis1 ~]# redis-cli 
127.0.0.1:6379> SET name tom
OK
127.0.0.1:6379> SET email tom@tedu.cn
OK

# 在从服务器上查看同步的数据
[root@redis2 ~]# redis-cli 
127.0.0.1:6379> KEYS *
1) "name"
2) "email"

127.0.0.1:6379> MGET name email
1) "tom"
2) "tom@tedu.cn"

配置带验证的主从复制

基于以上示例【一主一从结构】,配置认证

graph LR
redis1(redis1:192.168.1.11)-->redis2(redis2:192.168.1.12)
  • 配置主服务器redis1的连接密码为tedu.cn
# 设置密码
[root@redis1 ~]# vim +501 /etc/redis/6379.conf
requirepass tedu.cn

# 修改服务脚本
[root@redis1 ~]# vim +43  /etc/init.d/redis_6379
            $CLIEXEC -p $REDISPORT -a tedu.cn shutdown
            
# 重启服务
[root@redis1 ~]# service redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...
  • 配置从服务器
# 修改配置文件,设置主服务器连接密码
[root@redis2 ~]# vim +289 /etc/redis/6379.conf
masterauth tedu.cn

# 重启服务
[root@redis2 ~]# service redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...
  • 在从服务器本机连接服务,查看复制信息
[root@redis2 ~]# redis-cli
127.0.0.1:6379> info replication
# Replication
role:slave                          # 角色为从服务器
master_host:192.168.1.11            # 主服务器地址
master_port:6379                         # 主服务器端口
master_link_status:up                   # 到主服务器的连接状态
master_last_io_seconds_ago:2
master_sync_in_progress:0
slave_repl_offset:70
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:94e2bea7fc81fa71b1193df29b0984190c01bacc
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:70
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:70

哨兵服务

  • 监视master服务器

  • 发现master宕机后,将从服务器升级为主服务器

配置哨兵服务

graph LR
sentinel1(192.168.1.19)-->redis1
subgraph cluster
redis1(redis1:192.168.1.11)-->redis2(redis2:192.168.1.12)
end

基于以上示例【配置带验证的主从复制】,配置哨兵服务

  • 配置哨兵服务
# 在redis服务器(如redis1)上,拷贝哨兵程序到哨兵服务器
[root@redis1 ~]# scp -r /usr/local/redis 192.168.1.19:/usr/local

# 在sentinel1上,将redis命令目录添加至PATH环境变量
[root@sentinel1 ~]# echo 'export PATH=$PATH:/usr/local/redis/bin' >> /etc/bashrc
[root@sentinel1 ~]# source /etc/bashrc

# 创建哨兵配置文件
[root@sentinel1 ~]# vim /etc/sentinel.conf
sentinel monitor redis1 192.168.1.11 6379 1   # 监视主服务器
bind 0.0.0.0                                                          # 哨兵服务运行地址
sentinel auth-pass redis1 tedu.cn                        # 连接主服务器的密码
  • 启动哨兵服务
[root@sentinel1 ~]# redis-sentinel /etc/sentinel.conf
30557:X 12 May 10:12:44.026 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
30557:X 12 May 10:12:44.026 # Redis version=4.0.8, bits=64, commit=00000000, modified=0, pid=30557, just started
30557:X 12 May 10:12:44.026 # Configuration loaded
30557:X 12 May 10:12:44.028 * Increased maximum number of open files to 10032 (it was originally set to 1024).
                _._
           _.-``__ ''-._
      _.-``    `.  `_.  ''-._           Redis 4.0.8 (00000000/0) 64 bit
  .-`` .-```.  ```\/    _.,_ ''-._
 (    '      ,       .-`  | `,    )     Running in sentinel mode
 |`-._`-...-` __...-.``-._|'` _.-'|     Port: 26379
 |    `-._   `._    /     _.-'    |     PID: 30557
  `-._    `-._  `-./  _.-'    _.-'
 |`-._`-._    `-.__.-'    _.-'_.-'|
 |    `-._`-._        _.-'_.-'    |           http://redis.io
  `-._    `-._`-.__.-'_.-'    _.-'
 |`-._`-._    `-.__.-'    _.-'_.-'|
 |    `-._`-._        _.-'_.-'    |
  `-._    `-._`-.__.-'_.-'    _.-'
      `-._    `-.__.-'    _.-'
          `-._        _.-'
              `-.__.-'

30557:X 12 May 10:12:44.033 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
30557:X 12 May 10:12:44.049 # Sentinel ID is 40460aaa4df5543a000bf8f464c6698a712d2697
30557:X 12 May 10:12:44.049 # +monitor master redis1 192.168.1.11 6379 quorum 1
30557:X 12 May 10:12:44.051 * +slave slave 192.168.1.12:6379 192.168.1.12 6379 @ redis1 192.168.1.11 6379
  • 测试配置
# 停止主服务器redis1的redis服务
[root@redis1 ~]# service redis_6379 stop
Stopping ...
Redis stopped

# 在redis2上查看redis服务状态
[root@redis2 ~]# redis-cli
127.0.0.1:6379> info replication
# Replication
role:master              # 已经变为主服务器
connected_slaves:0
master_replid:da33c07e16dc1b90d14a20004e9f5d9b3a7b9081
master_replid2:94e2bea7fc81fa71b1193df29b0984190c01bacc
master_repl_offset:10054
second_repl_offset:8936
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:10054
  • 启动redis1,查看redis1信息
[root@redis1 ~]# service redis_6379 start
Starting Redis server...

[root@redis1 ~]# redis-cli -a tedu.cn
127.0.0.1:6379> info replication
# Replication
role:slave                          # 角色为从服务器
master_host:192.168.1.12       # 主服务器地址
master_port:6379               # 主服务器端口
master_link_status:up          # 到主服务器的连接状态
master_last_io_seconds_ago:1
master_sync_in_progress:0
slave_repl_offset:62014
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:da33c07e16dc1b90d14a20004e9f5d9b3a7b9081
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:62014
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:61430
repl_backlog_histlen:585

数据持久化

RedisDataBase(RDB)

  • 数据持久化方式之一

  • 数据持久化默认方式

  • 按照指定时间间隔,将内存中的数据集快照写入硬盘

  • 通过RDB进行备份还原,只要拷贝RDB文件即可

  • 数据从内存保存到磁盘的频率设置

save 900 1                  //15分钟内有1个key改变即存盘  
save 300 10                   //5分钟内有10个key改变即存盘
save 60 10000               //1分钟内有10000个key改变即存盘
  • 也可以进行手动存盘
save           //阻塞写存盘
bgsave              //不阻塞写存盘

RDB的优缺点

  • 优点:

    • 高性能的持久化实现:创建一个子进程来执行持久化,先将数据写入临时文件,持久化过程结束后,再用这个临时文件替换上次持久化好的文件
    • 过程中主进程不做任何IO操作
    • 比较适合大规模数据恢复,且对数据完整性要求不是非常高的场合
  • 缺点:

    • 意外宕机时,丢失最后一次持久化的所有数据

配置RDB

  • 配置RDB参数
# [root@redis7 ~]# vim /etc/redis/6379.conf
dbfilename dump.rdb
save 900 1
#save 300 10
save 120 10
save 60 10000
  • 清空rdb数据
# 停止redis服务
[root@redis7 ~]# service redis_6379 stop
Stopping ...
Redis stopped

# 删除数据
[root@redis7 ~]# rm -rf /var/lib/redis/6379/*

# 启动服务
[root@redis7 ~]# service redis_6379 start
Starting Redis server...

# 查看数据文件,因为没有存储过任何数据,所以不存在RDB文件
[root@redis7 ~]# ls /var/lib/redis/6379/
  • 存储数据
# 120秒内添加10个数据
[root@redis7 ~]# redis-cli
127.0.0.1:6379> MSET k1 v1 k2 v2 k3 v3 k4 v4 k5 v5
OK
127.0.0.1:6379> MSET k6 v6 k7 v7 k8 v8 k9 v9 k10 v10
OK

127.0.0.1:6379> KEYS *
 1) "k10"
 2) "k2"
 3) "k3"
 4) "k9"
 5) "k8"
 6) "k4"
 7) "k5"
 8) "k7"
 9) "k6"
10) "k1"
127.0.0.1:6379> exit

[root@redis7 ~]# ls /var/lib/redis/6379/
dump.rdb
  • 验证备份还原
# 备份数据文件
[root@redis7 ~]# cp /var/lib/redis/6379/dump.rdb ~/

# 模拟误删除数据
[root@redis7 ~]# redis-cli
127.0.0.1:6379> FLUSHALL
OK
127.0.0.1:6379> KEYS *
(empty list or set)
127.0.0.1:6379> exit

# 恢复数据
[root@redis7 ~]# service redis_6379 stop
Stopping ...
Redis stopped

[root@redis7 ~]# cp dump.rdb /var/lib/redis/6379/   # 用备份文件覆盖目标文件
cp: overwrite ‘/var/lib/redis/6379/dump.rdb’? y

# 启动服务并验证
[root@redis7 ~]# service redis_6379 start
Starting Redis server...
[root@redis7 ~]# redis-cli
127.0.0.1:6379> KEYS *
 1) "k6"
 2) "k3"
 3) "k4"
 4) "k1"
 5) "k8"
 6) "k7"
 7) "k9"
 8) "k5"
 9) "k10"
10) "k2"

Append Only File(AOF)

  • 追加方式记录写操作的文件
  • 记录redis服务所有写操作
  • 不断的将新的写操作,追加到文件的末尾
  • 默认没有启用
  • 使用cat命令可以查看文件内容

AOF文件记录写操作的方式

  • appendfsync always:时时记录,并完成磁盘同步
  • appendfsync everysec :每秒记录一次,并完成磁盘同步
  • appendfsync no:写入aof ,不执行磁盘同步

AOF优点与缺点

  • 优点:

    • 可以灵活设置持久化方式
    • 出现意外宕机时,仅可能丢失1秒的数据
  • 缺点:

    • 持久化文件的体积通常会大于RDB方式
    • 执行fsync策略时的速度可能会比RDB方式慢

配置AOF

  • 修改配置文件
[root@redis7 ~]# redis-cli
127.0.0.1:6379> CONFIG SET appendonly yes
OK
127.0.0.1:6379> CONFIG REWRITE
OK
127.0.0.1:6379> SAVE
OK
127.0.0.1:6379> exit

# 查看AOF文件
[root@redis7 ~]# ls /var/lib/redis/6379/
appendonly.aof  dump.rdb
  • 验证备份还原
# 备份AOF文件
[root@redis7 ~]# cp /var/lib/redis/6379/appendonly.aof ~/

# 删除数据
[root@redis7 ~]# redis-cli
127.0.0.1:6379> KEYS *
 1) "k6"
 2) "k3"
 3) "k4"
 4) "k1"
 5) "k8"
 6) "k7"
 7) "k9"
 8) "k5"
 9) "k10"
10) "k2"
127.0.0.1:6379> FLUSHALL
OK
127.0.0.1:6379> KEYS *
(empty list or set)
127.0.0.1:6379> exit

# 恢复数据
[root@redis7 ~]# service redis_6379 stop
Stopping ...
Redis stopped
[root@redis7 ~]# rm -rf /var/lib/redis/6379/*
[root@redis7 ~]# cp appendonly.aof /var/lib/redis/6379/

# 启动服务并验证
[root@redis7 ~]# service redis_6379 start
Starting Redis server...
[root@redis7 ~]# redis-cli
127.0.0.1:6379> KEYS *
 1) "k10"
 2) "k3"
 3) "k2"
 4) "k9"
 5) "k1"
 6) "k6"
 7) "k5"
 8) "k8"
 9) "k7"
10) "k4"

  • \color{red}{附加练习(部署 nginx 服务器、mysql 服务器和 redis 服务器)}

创建数据库

mysql> grant all on *.* to 'root'@'%' identified by 'NSD2021@tedu.cn';
mysql> create database mybbs default charset utf8mb4;
mysql> use mybbs ;
mysql> create table posts( id int primary key auto_increment, title varchar(50), pub_date datetime,  content text);

# 如果已存在数据库,请先清空表
mysql> truncate mybbs.posts;

配置nginx服务器

# 安装编译器
[root@nginx1 ~]# yum install -y gcc pcre-devel zlib-devel

# 编译安装nginx
[root@nginx1 ~]# tar xf nginx-1.12.2.tar.gz 
[root@nginx1 ~]# cd nginx-1.12.2
[root@nginx1 nginx-1.12.2]# ./configure 
[root@nginx1 nginx-1.12.2]# make && make install

# 安装并启动php-fpm
[root@nginx1 ~]# yum install -y php-fpm php-mysql
[root@nginx1 ~]# systemctl start php-fpm
[root@nginx1 ~]# systemctl enable php-fpm

# 修改配置文件
[root@nginx1 ~]# vim +65 /usr/local/nginx/conf/nginx.conf
        location ~ \.php$ {
            root           html;
            fastcgi_pass   127.0.0.1:9000;
            fastcgi_index  index.php;
        #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
            include        fastcgi.conf;
        }

# 启动nginx服务
[root@nginx1 ~]# /usr/local/nginx/sbin/nginx -t  # 语法检查
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful

[root@nginx1 ~]# /usr/local/nginx/sbin/nginx

配置PHP支持Redis

  • 安装php扩展
[root@nginx1 ~]# yum install -y php-devel automake autoconf
  • 安装php-redis
[root@nginx1 ~]# tar xf redis-cluster-4.3.0.tgz
[root@nginx1 ~]# cd redis-4.3.0/
[root@nginx1 redis-4.3.0]# phpize 
[root@nginx1 redis-4.3.0]# ./configure --with-php-config=/usr/bin/php-config 
[root@nginx1 redis-4.3.0]# make && make install

[root@nginx1 redis-4.3.0]# ls /usr/lib64/php/modules/redis.so 
/usr/lib64/php/modules/redis.so
  • 修改php配置文件并重启服务
[root@nginx1 redis-4.3.0]# vim /etc/php.ini   # 在730行下添加
extension_dir = "/usr/lib64/php/modules"
extension = "redis.so"

[root@nginx1 ~]# systemctl restart php-fpm

修改php首页

# 拷贝php_mysql_bbs目录下所有内容到nginx的文档目录
[root@nginx1 ~]# cp -r tedu_nsd/software/php_redis_mysql_bbs/* /usr/local/nginx/html/

# 修改php页面,使其可以连接到数据库
[root@nginx1 ~]# cd /usr/local/nginx/html/
[root@nginx1 html]# vim index.php  # 修改第2行和第8行。需要密码修改第9行,并取消注释
... ...
//以下连接Mysql数据库函数的三个参数分别为:服务器地址、用户名、密码
$con = mysql_connect("localhost","root","NSD2021@tedu.cn");
... ...
$redis->connect("192.168.1.11", "6379");  # redis服务器地址
// $redis->auth("tedu.cn");   # redis服务器密码,//表示注释
... ...
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,384评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,845评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,148评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,640评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,731评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,712评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,703评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,473评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,915评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,227评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,384评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,063评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,706评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,302评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,531评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,321评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,248评论 2 352

推荐阅读更多精彩内容