Java-分布式框架-redis-1

Redis核心原理

Redis的单线程和高性能
  • Redis 单线程为什么还能这么快?

因为它所有的数据都在内存中,所有的运算都是内存级别的运算,而且单线程避免了多线程的切换性能损耗问题。正因为 Redis 是单线程,所以要小心使用 Redis 指令,对于那些耗时的指令(比如keys),一定要谨慎使用,一不小心就可能会导致 Redis 卡顿。

  • Redis 单线程如何处理那么多的并发客户端连接?

Redis的IO多路复用:redis利用epoll来实现IO多路复用,将连接信息和事件放到队列中,依次放到文件事件分派器,事件分派器将事件分发给事件处理器。Nginx也是采用IO多路复用原理解决C10K问题

image.png

查看redis支持的最大连接数,在redis.conf文件中可修改,# maxclients 10000
127.0.0.1:6379> CONFIG GET maxclients
"maxclients"
"10000"

注意:redis有着10万QPS的性能,每秒可以处理10万条命令。往往用户量较高的系统为了解决访问操作速度问题,而引进redis数据库进行存储,并且redis数据库存储的数据量往往占比会很高,比如70%。

其他高级命令
  • keys:全量遍历键,用来列出所有满足特定正则字符串规则的key,当redis数据量比较大时,性能比较差,要避免使用。keys的使用有精准查找、全局查找、模糊查找。


    image.png
  • scan:渐进式遍历键

SCAN cursor [MATCH pattern] [COUNT count] 

scan 参数提供了三个参数,第一个是 cursor 整数值,第二个是 key 的正则模式,第三个是一次遍历的key的数量,并不是符合条件的结果数量。第一次遍历时,cursor 值为 0,然后将返回结果中第一个整数值作为下一次遍历的 cursor。一直遍历到返回的 cursor 值为 0 时结束。

  • Info:查看redis服务运行信息,分为 9 大块,每个块都有非常多的参数,这 9 个块分别是:
    Server 服务器运行的环境参数
    Clients 客户端相关信息
    Memory 服务器运行内存统计数据
    Persistence 持久化信息
    Stats 通用统计数据
    Replication 主从复制相关信息
    CPU CPU 使用情况
    Cluster 集群信息
    KeySpace 键值对统计数量信息

Redis核心数据结构

概述

Redis核心数据主要包括字符串string、哈希hash、列表list、集合set、有序集合zset,也是经常使用的。


image.png
String结构
  • 单值缓存
set key value
get key
  • 对象缓存
    对象的缓存有2种方式,一种是把对象转为json字符串,以字符串的形式把对象存到redis;另一种方式批量把对象的属性存到redis。相比下,第二种方式占用的内存要少,同时在修改上第二种可以直接到redis上改,不需要先读取,再修改,后更新。
1. set user:id value(json格式数据)
   get user:id
2. mset user:id:name value_name user:id:age value_age
   mget user:id:name user:id:age
  • 分布式锁
    分布式锁的实现可以使用SETNX命令实现,SETNX操作成功表示获取锁成功,反之获取锁失败,DEL命令删除对应的key表示释放锁,其中也需要设置获取锁操作的超时时间,以防出现死锁。
SETNX  product:10001  true      //返回1代表获取锁成功
SETNX  product:10001  true      //返回0代表获取锁失败
。。。执行业务操作
DEL  product:10001              //执行完业务释放锁
SET product:10001 true  ex  10  nx  //防止程序意外终止导致死锁
  • 计数器
    redis它是单线程执行的,就算是多线程并发对redis进行操作,redis这边都会把操作请求进行排队串行化,再逐一进行处理,说白了redis下就只有一个线程在执行。
INCR article:readcount:{文章id}   
GET article:readcount:{文章id} 
  • Web集群session共享
    spring session + redis实现session共享

  • 分布式系统全局序列号
    INCRBY orderId 1000 //redis批量生成序列号提升性能

Hash结构

List常用命令如下:

HSET  key  field  value             //存储一个哈希表key的键值
HSETNX  key  field  value       //存储一个不存在的哈希表key的键值
HMSET  key  field  value [field value ...]  //在一个哈希表key中存储多个键值对
HGET  key  field                //获取哈希表key对应的field键值
HMGET  key  field  [field ...]      //批量获取哈希表key中多个field键值
HDEL  key  field  [field ...]       //删除哈希表key中的field键值
HLEN  key               //返回哈希表key中field的数量
HGETALL  key                //返回哈希表key中所有的键值
HINCRBY  key  field  increment      //为哈希表key中field键的值加上增量increment
  • 对象缓存
    对象缓存的使用用hash结构相比string结构的第二种来说,更加合理,更加方便。
    优点
    1)同类数据归类整合储存,方便数据管理
    2)相比string操作消耗内存与cpu更小
    3)相比string储存更节省空间
    缺点
    1)过期功能不能使用在field上,只能用在key上
    2)Redis集群架构下不适合大规模使用
HMSET  user  {userId}:name  value_name {userId}:age  value_age
HMSET  user  1:name  xiaoming 1:age  18
HMGET  user  1:name  1:age
  • 应用场景

电商购物车
1)以用户id为key
2)商品id为field
3)商品数量为value

image.png

购物车操作

添加商品 hset cart:1001 10088 1
增加数量 hincrby cart:1001 10088 1
商品总数 hlen cart:1001
删除商品 hdel cart:1001 10088
获取购物车所有商品 hgetall cart:1001
List结构

List常用命令如下:

LPUSH  key  value [value ...]       //将一个或多个值value插入到key列表的表头(最左边)
RPUSH  key  value [value ...]       //将一个或多个值value插入到key列表的表尾(最右边)
LPOP  key                           //移除并返回key列表的头元素
RPOP  key                           //移除并返回key列表的尾元素
LRANGE  key  start  stop            //返回列表key中指定区间内的元素,区间以偏移量start和stop指定
BLPOP  key  [key ...]  timeout      //从key列表表头弹出一个元素,若列表中没有元素,阻塞等待      timeout秒,如果timeout=0,一直阻塞等待
BRPOP  key  [key ...]  timeout      //从key列表表尾弹出一个元素,若列表中没有元素,阻塞等待      timeout秒,如果timeout=0,一直阻塞等待
image.png
  • 常用数据结构

Stack(栈) = LPUSH + LPOP -->FILO
Queue(队列)= LPUSH + RPOP -->FIFO
Blocking MQ(阻塞队列)= LPUSH + BRPOP -->FIFO

  • 应用场景
    公众号页面消息展示。

1)关注的UP主1发公众号,消息ID为10018
LPUSH msg:{我的ID} 10018
2)关注的UP主2发公众号,消息ID为10086
LPUSH msg:{我的ID} 10086
3)查看最新公众号消息 //前5条
LRANGE msg:{我的ID} 0 5

Set结构
  • Set常用操作
SADD  key  member  [member ...]         //往集合key中存入元素,元素存在则忽略,若key不存在则新建
SREM  key  member  [member ...]         //从集合key中删除元素
SMEMBERS  key                           //获取集合key中所有元素
SCARD  key                              //获取集合key的元素个数
SISMEMBER  key  member                  //判断member元素是否存在于集合key中
SRANDMEMBER  key  [count]               //从集合key中选出count个元素,元素不从key中删除
SPOP  key  [count]                      //从集合key中选出count个元素,元素从key中删除
  • Set运算操作
SINTER  key  [key ...]              //交集运算
SINTERSTORE  destination  key  [key ..]     //将交集结果存入新集合destination中
SUNION  key  [key ..]               //并集运算
SUNIONSTORE  destination  key  [key ...]        //将并集结果存入新集合destination中
SDIFF  key  [key ...]               //差集运算
SDIFFSTORE  destination  key  [key ...]     //将差集结果存入新集合destination中
  • 应用场景

抽奖活动,随机抽取1位一等奖,2位二等奖,3位三等奖,保证中奖人数不重复。

SPOP key 1
SPOP key 2
SPOP key 3

微信微博点赞,收藏,标签

1) 点赞
SADD  like:{消息ID}  {用户ID}
2) 取消点赞
SREM like:{消息ID}  {用户ID}
3) 检查用户是否点过赞
SISMEMBER  like:{消息ID}  {用户ID}
4) 获取点赞的用户列表
SMEMBERS like:{消息ID}
5) 获取点赞用户数 
SCARD like:{消息ID}

集合操作实现微博微信关注模型

1) A关注的人: 
ASet-> {B, C, D}
2) B关注的人:
 BSet--> {A, C, D, E}
3) C关注的人: 
CSet-> {A, B, E, D, F)
4) A和B共同关注: 
SINTER ASet BSet--> {C, D}
5) A关注的人也关注他(B): 
SISMEMBER CSet B 
SISMEMBER DSet B
6) A可能认识的人: 
SDIFF BSet ASet->(A, E}

集合操作实现电商商品筛选

SADD  brand:huawei  P30
SADD  brand:xiaomi  mi-6X
SADD  brand:iPhone iphone8
SADD os:android  P30  mi-6X
SADD cpu:brand:intel  P30  mi-6X
SADD ram:8G  P30  mi-6X  iphone8
//交集操作获取结果
SINTER  os:android  cpu:brand:intel  ram:8G  {P30,mi-6X}

注意:操作在redis中为微秒级别,这样的操作在高并发中在redis很快,在传统数据库中很慢。

ZSet结构
  • ZSet常用操作
ZADD key score member [[score member]…] //往有序集合key中加入带分值元素
ZREM key member [member …]      //从有序集合key中删除元素
ZSCORE key member           //返回有序集合key中元素member的分值
ZINCRBY key increment member        //为有序集合key中元素member的分值加上increment 
ZCARD key               //返回有序集合key中元素个数
ZRANGE key start stop [WITHSCORES]  //正序获取有序集合key从start下标到stop下标的元素
ZREVRANGE key start stop [WITHSCORES]   //倒序获取有序集合key从start下标到stop下标的元素
  • Zset集合操作
ZUNIONSTORE destkey numkeys key [key ...]   //并集计算
ZINTERSTORE destkey numkeys key [key …] //交集计算
image.png
  • 应用场景

Zset集合操作实现新闻排行榜

1)点击新闻
ZINCRBY  hotNews:20190819  1  守护香港
2)展示当日排行前十
ZREVRANGE  hotNews:20190819  0  10  WITHSCORES 
3)七日搜索榜单计算
ZUNIONSTORE  hotNews:20190813-20190819  7 
hotNews:20190813  hotNews:20190814... hotNews:20190819
4)展示七日排行前十
ZREVRANGE hotNews:20190813-20190819  0  10  WITHSCORES
image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 今天为大家分享一个系列的教程Redis高级应用实战分布式缓存,今天文章内容概要:1、那么分布式缓存为什么要用Red...
    艾编程阅读 2,713评论 0 1
  • 为什么要用缓存? 高性能 假设这么个场景,你有个操作,一个请求过来,吭哧吭哧你各种乱七八糟操作mysql,半天查出...
    _云起阅读 12,095评论 1 50
  • 表情是什么,我认为表情就是表现出来的情绪。表情可以传达很多信息。高兴了当然就笑了,难过就哭了。两者是相互影响密不可...
    Persistenc_6aea阅读 126,829评论 2 7
  • 16宿命:用概率思维提高你的胜算 以前的我是风险厌恶者,不喜欢去冒险,但是人生放弃了冒险,也就放弃了无数的可能。 ...
    yichen大刀阅读 11,277评论 0 4