Redis核心原理
Redis的单线程和高性能
- Redis 单线程为什么还能这么快?
因为它所有的数据都在内存中,所有的运算都是内存级别的运算,而且单线程避免了多线程的切换性能损耗问题。正因为 Redis 是单线程,所以要小心使用 Redis 指令,对于那些耗时的指令(比如keys),一定要谨慎使用,一不小心就可能会导致 Redis 卡顿。
- Redis 单线程如何处理那么多的并发客户端连接?
Redis的IO多路复用:redis利用epoll来实现IO多路复用,将连接信息和事件放到队列中,依次放到文件事件分派器,事件分派器将事件分发给事件处理器。Nginx也是采用IO多路复用原理解决C10K问题
image.png
查看redis支持的最大连接数,在redis.conf文件中可修改,# maxclients 10000
127.0.0.1:6379> CONFIG GET maxclients
"maxclients"
"10000"
注意:redis有着10万QPS的性能,每秒可以处理10万条命令。往往用户量较高的系统为了解决访问操作速度问题,而引进redis数据库进行存储,并且redis数据库存储的数据量往往占比会很高,比如70%。
其他高级命令
-
keys:全量遍历键,用来列出所有满足特定正则字符串规则的key,当redis数据量比较大时,性能比较差,要避免使用。keys的使用有精准查找、全局查找、模糊查找。
image.png scan:渐进式遍历键
SCAN cursor [MATCH pattern] [COUNT count]
scan 参数提供了三个参数,第一个是 cursor 整数值,第二个是 key 的正则模式,第三个是一次遍历的key的数量,并不是符合条件的结果数量。第一次遍历时,cursor 值为 0,然后将返回结果中第一个整数值作为下一次遍历的 cursor。一直遍历到返回的 cursor 值为 0 时结束。
- Info:查看redis服务运行信息,分为 9 大块,每个块都有非常多的参数,这 9 个块分别是:
Server 服务器运行的环境参数
Clients 客户端相关信息
Memory 服务器运行内存统计数据
Persistence 持久化信息
Stats 通用统计数据
Replication 主从复制相关信息
CPU CPU 使用情况
Cluster 集群信息
KeySpace 键值对统计数量信息
Redis核心数据结构
概述
Redis核心数据主要包括字符串string、哈希hash、列表list、集合set、有序集合zset,也是经常使用的。
String结构
- 单值缓存
set key value
get key
- 对象缓存
对象的缓存有2种方式,一种是把对象转为json字符串,以字符串的形式把对象存到redis;另一种方式批量把对象的属性存到redis。相比下,第二种方式占用的内存要少,同时在修改上第二种可以直接到redis上改,不需要先读取,再修改,后更新。
1. set user:id value(json格式数据)
get user:id
2. mset user:id:name value_name user:id:age value_age
mget user:id:name user:id:age
- 分布式锁
分布式锁的实现可以使用SETNX命令实现,SETNX操作成功表示获取锁成功,反之获取锁失败,DEL命令删除对应的key表示释放锁,其中也需要设置获取锁操作的超时时间,以防出现死锁。
SETNX product:10001 true //返回1代表获取锁成功
SETNX product:10001 true //返回0代表获取锁失败
。。。执行业务操作
DEL product:10001 //执行完业务释放锁
SET product:10001 true ex 10 nx //防止程序意外终止导致死锁
- 计数器
redis它是单线程执行的,就算是多线程并发对redis进行操作,redis这边都会把操作请求进行排队串行化,再逐一进行处理,说白了redis下就只有一个线程在执行。
INCR article:readcount:{文章id}
GET article:readcount:{文章id}
Web集群session共享
spring session + redis实现session共享分布式系统全局序列号
INCRBY orderId 1000 //redis批量生成序列号提升性能
Hash结构
List常用命令如下:
HSET key field value //存储一个哈希表key的键值
HSETNX key field value //存储一个不存在的哈希表key的键值
HMSET key field value [field value ...] //在一个哈希表key中存储多个键值对
HGET key field //获取哈希表key对应的field键值
HMGET key field [field ...] //批量获取哈希表key中多个field键值
HDEL key field [field ...] //删除哈希表key中的field键值
HLEN key //返回哈希表key中field的数量
HGETALL key //返回哈希表key中所有的键值
HINCRBY key field increment //为哈希表key中field键的值加上增量increment
- 对象缓存
对象缓存的使用用hash结构相比string结构的第二种来说,更加合理,更加方便。
优点
1)同类数据归类整合储存,方便数据管理
2)相比string操作消耗内存与cpu更小
3)相比string储存更节省空间
缺点
1)过期功能不能使用在field上,只能用在key上
2)Redis集群架构下不适合大规模使用
HMSET user {userId}:name value_name {userId}:age value_age
HMSET user 1:name xiaoming 1:age 18
HMGET user 1:name 1:age
- 应用场景
电商购物车
1)以用户id为key
2)商品id为field
3)商品数量为value
购物车操作
添加商品 hset cart:1001 10088 1
增加数量 hincrby cart:1001 10088 1
商品总数 hlen cart:1001
删除商品 hdel cart:1001 10088
获取购物车所有商品 hgetall cart:1001
List结构
List常用命令如下:
LPUSH key value [value ...] //将一个或多个值value插入到key列表的表头(最左边)
RPUSH key value [value ...] //将一个或多个值value插入到key列表的表尾(最右边)
LPOP key //移除并返回key列表的头元素
RPOP key //移除并返回key列表的尾元素
LRANGE key start stop //返回列表key中指定区间内的元素,区间以偏移量start和stop指定
BLPOP key [key ...] timeout //从key列表表头弹出一个元素,若列表中没有元素,阻塞等待 timeout秒,如果timeout=0,一直阻塞等待
BRPOP key [key ...] timeout //从key列表表尾弹出一个元素,若列表中没有元素,阻塞等待 timeout秒,如果timeout=0,一直阻塞等待
- 常用数据结构
Stack(栈) = LPUSH + LPOP -->FILO
Queue(队列)= LPUSH + RPOP -->FIFO
Blocking MQ(阻塞队列)= LPUSH + BRPOP -->FIFO
- 应用场景
公众号页面消息展示。
1)关注的UP主1发公众号,消息ID为10018
LPUSH msg:{我的ID} 10018
2)关注的UP主2发公众号,消息ID为10086
LPUSH msg:{我的ID} 10086
3)查看最新公众号消息 //前5条
LRANGE msg:{我的ID} 0 5
Set结构
- Set常用操作
SADD key member [member ...] //往集合key中存入元素,元素存在则忽略,若key不存在则新建
SREM key member [member ...] //从集合key中删除元素
SMEMBERS key //获取集合key中所有元素
SCARD key //获取集合key的元素个数
SISMEMBER key member //判断member元素是否存在于集合key中
SRANDMEMBER key [count] //从集合key中选出count个元素,元素不从key中删除
SPOP key [count] //从集合key中选出count个元素,元素从key中删除
- Set运算操作
SINTER key [key ...] //交集运算
SINTERSTORE destination key [key ..] //将交集结果存入新集合destination中
SUNION key [key ..] //并集运算
SUNIONSTORE destination key [key ...] //将并集结果存入新集合destination中
SDIFF key [key ...] //差集运算
SDIFFSTORE destination key [key ...] //将差集结果存入新集合destination中
- 应用场景
抽奖活动,随机抽取1位一等奖,2位二等奖,3位三等奖,保证中奖人数不重复。
SPOP key 1
SPOP key 2
SPOP key 3
微信微博点赞,收藏,标签
1) 点赞
SADD like:{消息ID} {用户ID}
2) 取消点赞
SREM like:{消息ID} {用户ID}
3) 检查用户是否点过赞
SISMEMBER like:{消息ID} {用户ID}
4) 获取点赞的用户列表
SMEMBERS like:{消息ID}
5) 获取点赞用户数
SCARD like:{消息ID}
集合操作实现微博微信关注模型
1) A关注的人:
ASet-> {B, C, D}
2) B关注的人:
BSet--> {A, C, D, E}
3) C关注的人:
CSet-> {A, B, E, D, F)
4) A和B共同关注:
SINTER ASet BSet--> {C, D}
5) A关注的人也关注他(B):
SISMEMBER CSet B
SISMEMBER DSet B
6) A可能认识的人:
SDIFF BSet ASet->(A, E}
集合操作实现电商商品筛选
SADD brand:huawei P30
SADD brand:xiaomi mi-6X
SADD brand:iPhone iphone8
SADD os:android P30 mi-6X
SADD cpu:brand:intel P30 mi-6X
SADD ram:8G P30 mi-6X iphone8
//交集操作获取结果
SINTER os:android cpu:brand:intel ram:8G {P30,mi-6X}
注意:操作在redis中为微秒级别,这样的操作在高并发中在redis很快,在传统数据库中很慢。
ZSet结构
- ZSet常用操作
ZADD key score member [[score member]…] //往有序集合key中加入带分值元素
ZREM key member [member …] //从有序集合key中删除元素
ZSCORE key member //返回有序集合key中元素member的分值
ZINCRBY key increment member //为有序集合key中元素member的分值加上increment
ZCARD key //返回有序集合key中元素个数
ZRANGE key start stop [WITHSCORES] //正序获取有序集合key从start下标到stop下标的元素
ZREVRANGE key start stop [WITHSCORES] //倒序获取有序集合key从start下标到stop下标的元素
- Zset集合操作
ZUNIONSTORE destkey numkeys key [key ...] //并集计算
ZINTERSTORE destkey numkeys key [key …] //交集计算
- 应用场景
Zset集合操作实现新闻排行榜
1)点击新闻
ZINCRBY hotNews:20190819 1 守护香港
2)展示当日排行前十
ZREVRANGE hotNews:20190819 0 10 WITHSCORES
3)七日搜索榜单计算
ZUNIONSTORE hotNews:20190813-20190819 7
hotNews:20190813 hotNews:20190814... hotNews:20190819
4)展示七日排行前十
ZREVRANGE hotNews:20190813-20190819 0 10 WITHSCORES