Redis核心数据结构与高性能原理

点赞再看,养成习惯,搜一搜【一角钱技术】关注更多原创技术文章。本文 GitHub org_hejianhui/JavaStudy 已收录,有我的系列文章。

五种常用数据结构

image

String 结构

字符串常用操作

SET key value   //存入字符串键值对
MSET key value [key value ...]  //批量存储字符串键值对
SETNX key value     //存入一个不存在的字符串键值对
GET key     //获取一个字符串键值
MGET key [key ...]  //批量获取字符串键值
DEL key [key ...]   //删除一个键
EXPIRE key seconds //设置一个键的过期时间(秒)

原子加减

INCR key //将key中储存的数字值加1
DECR key //将key中储存的数字值减1
INCRBY key increment //将key所储存的值加上increment
DECRBY key decrement //将key所储存的值减去decrement

String 应用场景

  • 单值缓存
  • 对象缓存
  • 分布式锁
  • 计数器
  • Web集群Session共享
  • 分布式系统全局序列号
  1. 单值缓存
SET key value
Get key
  1. 对象缓存
SET user:1 value(json格式数据)
MSET user:1:name yijiaoqian user:1:balance 1888
MGET user:1:name user:1:balance 
  1. 分布式锁
SETNX product:10001  true //返回1代表获取锁成功
SETNX product:10001  true //返回0代表获取锁失败
...执行业务操作...
DEL product:10001   //执行完业务释放锁

SET product:10001 true  ex  10  nx  //防止程序意外终止导致死锁

  1. 计数器
INCR article:readcount:{文章id}   
GET article:readcount:{文章id}  
  1. Web集群Session共享

Spring session + redis 实现sessio共享

  1. 分布式系统全局序列号
INCRBY orderId 1000 //redis批量生成序列号提升性能

Hash 结构

Hash常用操作

HSET key field value    //存储一个哈希表key的键值
HSETNX key field value  //存储一个不存在的哈希表key的键值
HMSET key field  value [field value ...] //在一个哈希表key中存储多个键值对
HGET key field  //获取哈希表key对应的field键值
HMGET key field [field ...] //批量获取哈希表key中多个field键值
HDEL key field [field ...]  //删除哈希表key中的field键值
HLEN key    //返回哈希表key中field的数量
HGETALL key //返回哈希表key中所有的键值

HINCRBY key field increment //为哈希表key中field键的值加上增量increment

Hash应用场景

  • 对象存储
HMSET user {userId}:name  yijiaoqian {userId}:balance  1888
HMSET user 1:name yijiaoqian 1:balance 1888
HMGET user 1:name 1:balance  
  • 电商购物车
  1. 以用户id为key
  2. 商品id为field
  3. 商品数量为value
image

购物车操作:

  1. 添加商品:hset cart:1001 10088 1
  2. 增加数量:hincrby cart:1001 10088 1
  3. 商品总数:hlen cart:1001
  4. 删除商品:hdel cart:1001 10088
  5. 获取购物车所有商品:hgetall cart:1001

Hash结构优缺点

优点:

  1. 同类数据归类整合储存,方便数据管理
  2. 相比string操作消耗内存与cpu更小
  3. 相比string储存更节省空间

缺点:

  1. 过期功能不能使用在field上,只能用在key上
  2. Redis集群架构下不适合大规模使用
image

List 结构

List常用操作

LPUSH key value [value ...] //将一个或多个值value插入到key列表的表头(最左边)
RPUSH key value [value ...]  //将一个或多个值value插入到key列表的表尾(最右边)
LPOP key    //移除并返回key列表的头元素
RPOP key    //移除并返回key列表的尾元素
LRANGE key start stop   //返回列表key中指定区间内的元素,区间以偏移量start和stop指定

BLPOP key [key ...] timeout //从key列表表头弹出一个元素,若列表中没有元素,阻塞等待timeout秒,如果timeout=0,一直阻塞等待
BRPOP key [key ...] timeout //从key列表表尾弹出一个元素,若列表中没有元素,阻塞等待timeout秒,如果timeout=0,一直阻塞等待

List应用场景

  • 常用数据结构
  1. Stack(栈) = LPUSH + LPOP (FILO
  2. Queue(队列)= LPUSH + RPOP (FIFO
  3. Blocking MQ(阻塞队列)= LPUSH + BRPOP
image
  • 微博和微信公号消息流
image
一角钱关注了雷军、马云等大V
1)雷布斯发微博,消息ID为10018
LPUSH  msg:{一角钱-ID}  10018
2)马云发微博,消息ID为10086
LPUSH  msg:{一角钱-ID} 10086
3)查看最新微博消息
LRANGE  msg:{一角钱-ID}  0  4

Set 结构

Set常用操作

SADD key member [member ...]    //往集合key中存入元素,元素存在则忽略,若key不存在则新建
SREM key member [member ...]    //从集合key中删除元素
SMEMBERS key    //获取集合key中所有元素
SCARD key   //获取集合key的元素个数
SISMEMBER key member    //判断member元素是否存在于集合key中
SRANDMEMBER key [count] //从集合key中选出count个元素,元素不从key中删除
SPOP key [count]    //从集合key中选出count个元素,元素从key中删除

Set运算操作

SINTER key [key ...] //交集运算
SINTERSTORE destination key [key ..] //将交集结果存入新集合destination中
SUNION key [key ..] //并集运算
SUNIONSTORE destination key [key ...]   //将并集结果存入新集合destination中
SDIFF key [key ...] //差集运算
SDIFFSTORE destination key [key ...]    //将差集结果存入新集合destination中

Set应用场景

  • 微信抽奖小程序

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4MXrY6h4-1608565742118)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/bcbd972138c54f229f249954a4634578~tplv-k3u1fbpfcp-zoom-1.image)]

1.点击参与抽奖加入集合: SADD key {userID} 
2.查看参与抽奖所有用户:SMEMBERS key
3.抽取count名中奖者:SRANDMEMBER key [count]/ SPOP key [count]
  • 微信微博点赞、收藏、标签
image
1.点赞: SADD  like:{消息ID}  {用户ID} 
2.取消点赞: SREM like:{消息ID}  {用户ID} 
3.检查用户是否点过赞: SISMEMBER  like:{消息ID}  {用户ID} 
4.获取点赞的用户列表: SMEMBERS like:{消息ID} 
5.获取点赞用户数: SCARD like:{消息ID}
  • 集合操作
image
SINTER set1 set2 set3 -> { c }  // 交集
SUNION set1 set2 set3 -> { a,b,c,d,e }  // 并集
SDIFF set1 set2 set3  -> { a }  // 差集
  • 集合操作实现微博微信关注模型
image
1) 张三关注的人: 
zhangsanSet-> {lisi, wangwu}
2) 一角钱关注的人:
 yijiaoqianSet--> {zhangsan, zhaoliu, lisi, wangwu}
3) 李四关注的人: 
lisiSet-> {zhangsan, yijiaoqian, zhaoliu, wangwu, xunyu)
4) 我和一角钱共同关注: 
SINTER zhangsanSet yijiaoqianSet--> {lisi, wangwu}
5) 我关注的人也关注他(一角钱): 
SISMEMBER lisiSet yijiaoqian 
SISMEMBER wangwuSet yijiaoqian
6) 我可能认识的人: 
SDIFF yijiaoqianSet zhangsanSet->(zhangsan, zhaoliu}
  • 集合操作实现电商商品筛选
image
SADD brand:huawei  P40
SADD brand:xiaomi  mi-10
SADD brand:iPhone iphone12
SADD os:android P40 mi-10
SADD cpu:brand:intel P40 mi-10
SADD ram:8G P40 mi-10 iphone12

SINTER os:android cpu:brand:intel ram:8G >  {P40,mi-10}

ZSet 有序集合结构

ZSet常用操作

ZADD key score member [[score member]…] //往有序集合key中加入带分值元素
ZREM key member [member …]  //从有序集合key中删除元素
ZSCORE key member   //返回有序集合key中元素member的分值
ZINCRBY key increment member    //为有序集合key中元素member的分值加上increment 
ZCARD key   //返回有序集合key中元素个数
ZRANGE key start stop [WITHSCORES]  //正序获取有序集合key从start下标到stop下标的元素
ZREVRANGE key start stop [WITHSCORES]//倒序获取有序集合key从start下标到stop下标的元素

ZSet集合操作

ZUNIONSTORE destkey numkeys key [key ...]   //并集计算
ZINTERSTORE destkey numkeys key [key …]     //交集计算
image

ZSet应用场景

  • ZSet集合操作实现排行榜
image
image
1. 点击新闻:
ZINCRBY hotNews:20201221 1 完善低龄未成年人犯罪规定
2. 展示当日排行前十:
ZREVRANGE hotNews:20201221 0 9 WITHSCORES
3. 七日搜索榜单计算:
ZUNIONSTORE hotNews:20201215-20201221  7 
hotNews:20201215 hotNews:20201216... hotNews:20201221
4. 展示七日排行前十:
ZREVRANGE hotNews:20201215-20201221 0 9 WITHSCORES

Redis的单线程和高性能

Redis是单线程吗?

Redis的单线程主要是指 Redis 的网络IO和键值对读写是由一个线程来完成的,这也是Redis对外提供键值存储服务的主要流程。但是Redis的其他功能,比如持久化、异步删除、集群数据同步等,其实由额外的线程执行的。

Redis 单线程为什么还能这么快?

因为它所有的数据都在内存中,所有的运算都是内存级别的运算,而且单线程避免来多线程的切换性能损耗问题,正因为Redis是单线程,所以要小心使用Redis 指令,对于那些耗时的指令(比如keys),一定要谨慎使用,一不小心就可能会导致 Redis 卡顿。

Redis 单线程如何处理那么多的并发客户端连接?

Redis 的IO多路服用:redis利用epoll实现IO多路复用,将连接信息和事件放到队列中,依次放到文件事件分派器,事件分派器将事件分发给事件处理器。


image
# 查看redis支持的最大连接数,在redis.conf文件中可修改,# maxclients 10000
127.0.0.1:6379> CONFIG GET maxclients
    ##1) "maxclients"
    ##2) "10000"

其他高级命令

keys:全量遍历键

用来列出所有满足特定正则字符串规则的key,当redis数据量比较大时,性能比较差,要避免使用。

127.0.0.1:6379> set codehole1 a
OK
127.0.0.1:6379> set codehole2 b
OK
127.0.0.1:6379> set codehole3 c
OK
127.0.0.1:6379> set code1hole a
OK
127.0.0.1:6379> set code2hole b
OK
127.0.0.1:6379> set code3hole c
OK
127.0.0.1:6379> keys *
1) "codehole1"
2) "codehole3"
3) "codehole2"
4) "code3hole"
5) "code1hole"
6) "code2hole"
127.0.0.1:6379> keys codehole*
1) "codehole1"
2) "codehole3"
3) "codehole2"
127.0.0.1:6379> keys code*hole
1) "code3hole"
2) "code1hole"
3) "code2hole"

scan:渐进式遍历键

SCAN cursor [MATCH pattern] [COUNT count]

scan 参数提供了三个参数:

  • 第一个参数 cursor 整数值(hash桶的索引值)
  • 第二个是 key 的正则模式
  • 第三个是一次遍历的key的数量(参考值,底层遍历的数量不一定),并不少符合条件的结果数量。

第一次遍历时,cursor 值为0,然后将返回结果中的第一个整数值作为下一次遍历的 cursor。一直遍历到返回的 cursor 值为0时结束。

注意:但是scan并非完美无暇,如果在scan的过程中如果有键的变化(增加、删除、修改),那么遍历效果可能会碰到如下问题:新增的键可能没有遍历到,遍历出了重复的键等情况,也就是说scan并不能保证完整的遍历出来所有的键,这些是我们在开发时需要考虑的。

info:查看redis服务运行信息

分为 9 大块,每个块都有非常多的参数:

  • Server 服务器运行的环境参数
  • Clients 客户端相关信息
  • Memory 服务器运行内存的统计数据
  • Persistence 持久化信息
  • Stats 通用统计数据
  • Replication 主从复制相关信息
  • CPU CPU使用情况
  • Cluster 集群信息
  • KeySpace 键值对统计数量信息

image

核心属性说明

connected_clients:2                  # 正在连接的客户端数量

instantaneous_ops_per_sec:789        # 每秒执行多少次指令

used_memory:929864                   # Redis分配的内存总量(byte),包含redis进程内部的开销和数据占用的内存
used_memory_human:908.07K            # Redis分配的内存总量(Kb,human会展示出单位)
used_memory_rss_human:2.28M          # 向操作系统申请的内存大小(Mb)(这个值一般是大于used_memory的,因为Redis的内存分配策略会产生内存碎片)
used_memory_peak:929864              # redis的内存消耗峰值(byte)
used_memory_peak_human:908.07K       # redis的内存消耗峰值(KB)

maxmemory:0                         # 配置中设置的最大可使用内存值(byte),默认0,不限制
maxmemory_human:0B                  # 配置中设置的最大可使用内存值
maxmemory_policy:noeviction         # 当达到maxmemory时的淘汰策略

文章持续更新,可以公众号搜一搜「 一角钱技术 」第一时间阅读, 本文 GitHub org_hejianhui/JavaStudy 已经收录,欢迎 Star。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,884评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,347评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,435评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,509评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,611评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,837评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,987评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,730评论 0 267
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,194评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,525评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,664评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,334评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,944评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,764评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,997评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,389评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,554评论 2 349

推荐阅读更多精彩内容