01，Redis介绍

1，简介

Redis是一种基于键值对的NoSQL数据库,与很多键值对数据库不同,redis中的值可以有string,hash,list,set,zset,geo等多种数据结构和算法组成.
因为Redis会将所有的数据都放在内存中,所以他的读写性能非常惊人.
不仅如此,Redis还可以将内存中的数据利用快照和日志的形式保存到硬盘上
Redis还提供了键过期,发布订阅,事务,流水线等附加功能.

2，Redis重要特性

①速度快

Redis所有的数据都存放在内存中
Redis使用C语言实现
Redis使用单线程架构

②多种数据结构

字符串,哈希,列表,集合,有序集合

③丰富的功能

提供了键过期功能,可以实现缓存
提供了发布订阅功能,可以实现消息系统
提供了pipeline功能,客户端可以将一批命令一次性传到Redis,减少了网络开销

④简单稳定

源码很少,3.0版本以后5万行左右.
使用单线程模型法,使得Redis服务端处理模型变得简单.
不依赖操作系统的中的类库

⑤客户端语言多

java,PHP,python,C,C++,Nodejs等

⑥持久化

RDB和AOF

⑦主从复制

⑧高可用和分布式

哨兵
集群

3，Redis应用场景(面试重点）

①缓存--键过期时间

把session数据在redis里，过期删除
缓存用户信息,缓存mysql部分的数据，用户先访问redis，如果redis中没有，再访问mysql，然后写回redis
商场优惠券过期
短信验证码过期

②排行榜--列表&有序集合

热度/点击量
直播间礼物打赏排行榜

③计数器应用-天然支持计数器

帖子浏览数
视频播放次数
商品浏览数

④社交网络-集合

粉丝
共同好友/可能认识的人
兴趣爱好/标签
检查用户注册是否已经被注册

⑤消息队列-列表

ELK缓存日志
聊天记录

⑥发布订阅

粉丝关注通知
消息发布

02，Redis部署

0，版本选择

2.x ⾮常⽼
3.x 主流 redis-cluster
4.x 混合持久化
5.x 上⼀个稳定版 新增加了流处理类型
6.X 最新稳定版

1，目录规划

### redis下载目录
/data/soft/
### redis安装目录
/opt/redis_cluster/redis_{PORT}/{conf,logs,pid}
### redis数据目录
/data/redis_cluster/redis_{PORT}/redis_{PORT}.rdb
### redis运维脚本
/root/scripts/redis_shell.sh

2，安装步骤

①编译安装解释

./config         切菜   指定编译参数
make             炒菜   按照要求编译生成可执行程序
make install     装盘   把生成的可执行文件复制到/usr/local/bin/下

②安装命令

yum install gcc make -y
mkdir /data/soft -p
mkdir -p /data/redis_cluster/redis_6379
mkdir -p /opt/redis_cluster/redis_6379/{conf,pid,logs}
cd /data/soft/
wget http://download.redis.io/releases/redis-5.0.7.tar.gz
tar zxf redis-5.0.7.tar.gz -C /opt/redis_cluster
cd /opt/redis_cluster
ln -s /opt/redis_cluster/redis-5.0.7/ /opt/redis_cluster/redis
cd /opt/redis_cluster/redis 
make  
#如果报错可以执行 make MALLOC=libc 
make install

③创建配置文件

cat >/opt/redis_cluster/redis_6397/conf/redis_6379.conf<<EOF
daemonize yes
bind 127.0.0.1 10.0.0.20
port 6379
pidfile /opt/redis_cluster/redis_6397/pid/redis_6379.pid
logfile /opt/redis_cluster/redis_6397/logs/redis_6379.log
EOF

④启动服务

redis-server /opt/redis_cluster/redis_6397/conf/redis_6379.conf

⑤检查redis是否启动

netstat -lntup|grep 6379

⑥连接redis

redis-cli 
127.0.0.1:6379> set k1 v1
OK
127.0.0.1:6379> get k1
"v1"

⑦关闭命令

第⼀种：

[root@db01 ~]# redis-cli
127.0.0.1:6379> SHUTDOWN

第⼆种：

[root@db01 ~]# redis-cli shutdown

第三种：

kill
pkill

⑧system启动配置

redis-cli shutdown
groupadd redis -g 2000
useradd redis -u 2000 -g 2000 -M -s /sbin/nologin
chown -R redis:redis /opt/redis_cluster/redis*
chown -R redis:redis /data/redis_cluster/redis*

cat >/usr/lib/systemd/system/redis.service<<EOF
[Unit]
Description=Redis persistent key-value database
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
ExecStart=/usr/local/bin/redis-server /opt/redis_cluster/redis_6397/conf/redis_6379.conf --supervised systemd
ExecStop=/usr/local/bin/redis-cli shutdown
Type=notify
User=redis
Group=redis
RuntimeDirectory=redis
RuntimeDirectoryMode=0755

[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload 
systemctl start redis

03，优化警告

tail /opt/redis_cluster/redis_6397/logs/redis_6379.log

1，警告1：maximum open files过低

警告如下
You requested maxclients of 10000 requiring at least 10032 max file descriptors.
Server can't set maximum open files to 10032 because of OS error: Operation not permitted.
Current maximum open files is 4096. maxclients has been reduced to 4064 to compensate for low ulimit. If you need higher maxclients increase 'ulimit -n'.

解决方法：

vim /usr/lib/systemd/system/redis.service
[Service]
..............
LimitNOFILE=65536

2，警告2: overcommit_memory设置 虚拟内存相关

17068:M 23 Jun 2020 10:23:55.707 # WARNING overcommit_memory is set to
0! Background save may fail under low memory condition. To fix this
issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot
or run the command 'sysctl vm.overcommit_memory=1' for this to take
effect.

解决方法：

sysctl vm.overcommit_memory=1

3，警告3: 关闭THP⼤内存⻚

17068:M 23 Jun 2020 10:23:55.707 WARNING you have Transparent Huge
Pages (THP) support enabled in your kernel. This will create latency and
memory usage issues with Redis. To fix this issue run the command 'echo
never > /sys/kernel/mm/transparent_hugepage/enabled' as root, and add it
to your /etc/rc.local in order to retain the setting after a reboot.
Redis must be restarted after THP is disabled.
17068:M 23 Jun 2020 10:23:55.707 * Ready to accept connections

解决方法：

#临时解决
echo never > /sys/kernel/mm/transparent_hugepage/enabled

#开启自启动
vim /etc/rc.d/rc.local
chmod +x /etc/rc.d/rc.local

4，警告4

34685:M 23 Jun 2020 10:47:00.901 # WARNING: The TCP backlog setting of
511 cannot be enforced because /proc/sys/net/core/somaxconn is set to
the lower value of 128.

解决方法：

echo "511" > /proc/sys/net/core/somaxconn

04，Redis全局命令

1.Redis数据格式

key:value
键:值

2.写⼊测试命令

set k1 v1
set k2 v2
set k3 v3

3.查看所有的key-注意！！！线上⽣产禁⽌执⾏

keys * 

4.查看有多少个key

DBSIZE 

5.查看某个key是否存在

EXISTS k1
状态码：
0: 表示这个key不存在
1: 表示这个key存在
N: 表示有N个key存在

6.删除KEY

DEL k1
DEL k1 k2
状态码：
0: 要删除的KEY不存在
1: 表示这个key存在，并且被删除成功了
N: 表示N个key存在，并且被删除成功了N个

7.键过期

设置过期时间

EXPIRE k1 10
状态码：
0：这个key不存在
1：这个key存在，并且设置过期时间成功

查看key是否过期

TTL k1
状态码：
-1 ：这个key存在，但是没有设置过期时间，永不过期
-2 ：这个key不存在
N ：表示这个key存在，并且还有N秒过期

取消过期时间

第⼀种⽅法：
set k1 v1
第⼆种⽅法：
PERSIST k1

05，字符串操作

1.设置⼀个key

set k1 v1
set k1 v1 EX 10

2.查看⼀个key

get k1

3.设置多个key

MSET k1 v1 k2 v2 k3 v3 

4.查看多个key

MGET k1 k2 k3 

5.天然计数器

加1:
SET k1 1
INCR k1
GET k1
加N：
INCRBY k1 100
减1:
DECR k1
INCRBY k1 -1

减N：
DECRBY k1 N
INCRBY k1 -N

故障案例：

问题背景：
某⽇，突然在公司办公室集体访问不了公司⽹站了，访问其他⽹站都正常，⽤⼿机流量访问公司⽹站却正常

排查过程：
笔记本⽤⼿机流量热点，连上了IDC机房的VPN服务器，连上反向代理负载均衡查看，发现公司出⼝IP地址被防⽕墙封掉了。

紧急恢复：
先放开规则，恢复访问。再排查问题

排查步骤：
为什么办公室会被封？
防⽕墙上做了限制访问次数，如果访问超过1分钟200次，就⾃动封掉这个IP，24⼩时后再放开。

内⽹是谁在⼤量访问呢？
通过路由器查看那个交换机流量⼤
通过交换机确认哪个端⼝的流量异常
拔掉⽹线，然后等待尖叫声

问题真正原因：
供应商软⽂有指标，需要把热度炒起来，所以同事⽤浏览器⾃动刷新⽹⻚的插件不断的刷新⽹从⽽触发了防⽕墙的限制，⼜因为防⽕墙没有设置⽩名单，所以导致整个办公室唯⼀的出⼝IP被封掉。

解决⽅案：
开发在后台添加新功能，输⼊帖⼦ID和期望的访问数，操作Redis字符串的计数器功能⾃动添加
访问量
防⽕墙设置⽩名单，放开公司办公室出⼝IP

06，列表操作

1.插⼊列表

从左边压⼊数据：
LPUSH list1 A
从右边压⼊数据：
RPUSH list1 D

2.查看列表长度

LLEN list1

3.查看列表内容

LRANGE list1 0 -1 

4.删除列表元素

RPOP list1
LPOP list1

5.删除整个列表

DEL list1

07，HASH操作

1.mysql数据格式如何缓存到redis

mysql数据格式：
user表
id name job age
1 boss it 18
2 wei it 24
3 cookz it 30
hash类型存储格式：
key field1 value field2 value field3 value
user:1 name boss job it age 18
user:2 name wei job it age 18
user:3 name cookz job it age 18

2.创建⼀个HASH数据

HMSET user:1 name boss job it age 18
HMSET user:2 name wei job it age 24
HMSET user:3 name cooz job it age 30

3.查看hash⾥的指定字段的值

select name from user where id = 1 ;

HMGET user:1 name
HMGET user:1 name job age

4.查看hash⾥的所有字段的值

select * from user where id = 1 ;

HGETALL user:1

08，集合操作

1.创建集合

SADD set1 1 2 3
SADD set2 1 3 5 7

2.查看集合成员

SMEMBERS set1

3.查看集合的交集

127.0.0.1:6379> SINTER set1 set2
1) "1"
2) "3"
127.0.0.1:6379> SINTER set2 set1
1) "1"
2) "3"

4.查看集合的差集

127.0.0.1:6379> SMEMBERS set1
1) "1"
2) "2"
3) "3"
127.0.0.1:6379> SMEMBERS set2
1) "1"
2) "3"
3) "5"
4) "7"
127.0.0.1:6379> SDIFF set1 set2
1) "2"
127.0.0.1:6379> SDIFF set2 set1
1) "5"
2) "7"

5.查看集合的并集

127.0.0.1:6379> SUNION set1 set2
1) "1"
2) "2"
3) "3"
4) "5"
5) "7"

09，有序集合

1.添加有序集合

ZADD bj69 100 wang
ZADD bj69 10 bao
ZADD bj69 99 meng

2.计算成员个数

ZCARD bj69

3.计算某个成员分数

ZSCORE bj69 wang

4.按照升序查看成员名次

ZRANK bj69 meng

5.按照降序查看成员名次

ZREVRANK bj67 wei

6.删除成员

ZREM bj67 cookzhang

7.返回指定排名范围的成员

127.0.0.1:6379> ZRANGE bj67 0 -1
1) "cookzhang"
2) "cookz"
3) "zcook"
4) "jun"
5) "wei"
127.0.0.1:6379> ZRANGE bj67 0 -1 WITHSCORES
1) "cookzhang"
2) "10"
3) "cookz"
4) "20"
5) "zcook"
6) "30"
7) "jun"
8) "99"
9) "wei"
10) "100"
127.0.0.1:6379> ZRANGE bj67 1 3
1) "cookz"
2) "zcook"
3) "jun"

8.返回指定分数范围的成员

127.0.0.1:6379> ZRANGEBYSCORE bj67 50 100
1) "jun"
2) "wei"
127.0.0.1:6379> ZRANGEBYSCORE bj67 50 100 WITHSCORES
1) "jun"
2) "99"
3) "wei"
4) "100"

9.增加成员分数

ZINCRBY bj67 50 wei