[Redis] 一、介绍及NIO原理介绍

常识

  1. 磁盘
    • 寻址:ms
    • 带宽:G/M
  2. 内存
    • 寻址:ns
    • 带宽:很大?
      秒>毫秒>微秒>纳秒 磁盘比内存在寻址慢10w倍
      I/O buffer:成本问题
      磁盘与磁道:扇区,一扇区512Byte带来成本变大;
      索引4k 操作系统,无论读多少,都是最小4k从磁盘拿

数据库

如果表有索引

增删改变慢:维护索引慢

查询速度?1.一个或少量查询依然很快 2.并发大的时候回受硬盘带宽影响速度

缓存

2个基础设施制约,导致redis:冯诺依曼体系的硬件(如果量子计算机出现、IO带宽问题解决就不会有redis)、以太网tcp/ip网络(不稳定,数据不一致双写)

Memcached和Redis:Memcached仅支持k、v,而Redis的v支持多种类型数据结构(String、hashes、lists、sets、sorted sets)从而Redis Server对每种类型有自己的方法【计算向数据移动】

IO

BIO

socket是阻塞的,有数据就处理,没数据就阻塞着,只能抛出更多线程,如此当只有一个cpu的情况下某一个时间只有一个线程在处理。所以需要内核的跃迁(变成非阻塞IO)
待解决的问题:

  • 阻塞,线程太多(每个成本是1M,且消耗CPU)

命令:

  • cd /proc/<pid>/fd && ll: 查看文件描述符
  • man 2 read: 查看文件
image.png

NIO

改进点:socket是nonblock,这样就不用多个线程,同步(一个线程)非阻塞(内核)

待解决问题:如果有1000个文件描述符,要进行1000次系统调用,若要减少调用次数,用户无法解决,故需要内核的再次跃迁(轮询从用户空间改成内核空间)

命令:

  • $ man ls 表示怎么使用的,是一类文档(8类)
  • $ man 2 read (2类是系统调用) 注意,此时系统调用仍然是read,只是内核升级成了非阻塞
  • man 2 socket
image.png

多路复用NIO

系统调用改成了select,由用户传入所有的fd(文件描述符),让内核去监控所有的fd然后再在有fd有输入时返回fd给用户,然后用户再对这些fd进行针对性read

待解决问题:用户需要传入fds,需要在用户态和内核态之间返回传递

命令:

  • man 2 select:系统调用改成了select,轮询变成了内核在完成,也就是一个program同时监控多个文件描述符;
image.png

epoll

mmap系统调用用于在用户态和内核态共享空间,内部是红黑树和链表;用户态将fd放如红黑树,内核态检测到数据到达则将对应fd放入链表,由用户态在链表中fd进行read
用户空间可以create,当有连接进来就将该fd给epfd(增删改内核完成,查询两边都可以),ctl调用(add del socket fd),wait(等待事件,事件驱动)
与多路复用NIO区别:多路复用是每次都要压所有fd给内核

命令:

  • man 2 mmap:用户态和内核态共享空间,避免fd的来回传
  • man epoll:epoll_creata、epoll_ctl、epoll_wait

与零拷贝区别:

  • man 2 sendfile:out_fd, in_fd, offset, count;
    • 在此之前是通过read到用户态然后write回内核态
    • 现在内核缓冲区直接读入和写出,就不需要和程序进行拷贝
image.png

引申:kafka(sendfile+mmap)

Mmap:进来的数据,由于jvm mmap直接挂载到文件或db,所以直接进入到文件,减少文件传输的时间

sendfile:出去的数据,使用了零拷贝,outfd是文件,in是消费者

image.png

引申:nginx

类似Redis

image.png

回到Redis

  • 首先会有很多客户端/socket连接进来,例如一个tomcat里的线程池或者几台机器分布式去连Redis,在Redis来看很多socket均打到了内核
  • Redis服务端进程,调用epoll遍历寻找哪个客户端信息发送过来
  • Redis单进程处理用户对数据的请求
  • 注意:
    • Redis的顺序仅仅是对于任意一个client连接内的事务,对于多个client要自行做好负载,否则同一个资源(key)要放在同一个client里
image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,496评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,407评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,632评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,180评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,198评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,165评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,052评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,910评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,324评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,542评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,711评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,424评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,017评论 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,668评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,823评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,722评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,611评论 2 353

推荐阅读更多精彩内容