从零单排学Redis【黄金】

前言

只有光头才能变强

好的,今天我们要上黄金段位了,如果还没经历过青铜和白银阶段的,可以先去蹭蹭经验再回来:

看过相关Redis基础的同学可以知道Redis是单线程的,很多面试题也很可能会问到“为什么Redis是单线程的还那么快”。

这篇文章来讲讲单线程的内部的原理

文本力求简单讲清每个知识点,希望大家看完能有所收获

一、基础铺垫

在讲解Redis之前,我们先来一些基础的铺垫,有更好的阅读体验。

1.1网路编程

我们在初学Java的时候肯定会学过网络编程这一章节的,当时学完写的应用可能就是“网络聊天室”。

写出来的效果可能就是在console噼里啪啦的输入数据,然后噼里啪啦的返回数据,就完事了..(扎心了)

网络编程可简单分为TCP和UPD两种,一般我们更多关注的是TCP。TCP网络编程在Java中封装成Socket和SocketServer,我们来回顾一下最简单的TCP网络编程吧:

TCP客户端


public class ClientDemo {
    public static void main(String[] args) throws IOException {
        //创建发送端的Socket对象
        Socket s = new Socket("192.168.1.106",8888);
        
        //Socket对象可以获取输出流
        OutputStream os = s.getOutputStream();
        os.write("hello,tcp,我来了".getBytes());

        s.close();
    }
}

TCP服务端:


public class ServerDemo {
    public static void main(String[] args) throws IOException {
        //创建接收端的Socket对象
        ServerSocket ss = new ServerSocket(8888);

        //监听客户端连接,返回一个对应的Socket对象
        //侦听并接受到此套接字的连接,此方法会阻塞
        Socket s = ss.accept();

        //获取输入流,读取数据
        InputStream is = s.getInputStream();

        byte[] bys = new byte[1024];
        int len = is.read(bys);
        String str = new String (bys,0,len);

        String ip = s.getInetAddress().getHostAddress();
        System.out.println(ip + "    ---" +str);

        //释放资源
        s.close();
        //ss.close();  

    }
}

上面的代码就可以实现:客户端向服务器发送数据,服务端能够接收客户端发送过来的数据

1.2IO多路复用

之前我已经写过Java NIO的文章了,Java的NIO也是基于IO多路复用模型的,建议先去看一下再回来,文章写得挺详细和通俗的了:JDK10都发布了,nio你了解多少?

这里就简单回顾一下吧:

  • I/O多路复用的特点是通过一种机制一个进程能同时等待多个文件描述符,而这些文件描述符其中的任意一个进入读就绪状态、等等select()函数就可以返回。
  • select/epoll的优势并不是对于单个连接能处理得更快,而是在于能处理更多的连接

说白了,使用IO多路复用机制的,一般自己会有一套事件机制,使用一个线程或者进程监听这些事件,如果这些事件被触发了,则调用对应的函数来处理。

二、Redis事件

Redis服务器是一个事件驱动程序,主要处理以下两类事件:

  • 文件事件:文件事件其实就是对Socket操作的抽象,Redis服务器与Redis客户端的通信会产生文件事件,服务器通过监听并处理这些事件来完成一系列的网络操作
  • 时间事件:时间事件其实就是对定时操作的抽象,前面我们已经讲了RDB、AOF、定时删除键这些操作都可以由服务端去定时或者周期去完成,底层就是通过触发时间事件来实现的!

2.1文件事件

Redis开发了自己的网络事件处理器,这个处理器被称为文件事件处理器

文件事件处理器由四部分组成:

文件事件处理器组成

文件事件处理器使用I/O多路复用程序来同时监听多个Socket。当被监听的Socket准备好执行连接应答(accept)、读取(read)等等操作时,与操作相对应的文件事件就会产生,根据文件事件来为Socket关联对应的事件处理器,从而实现功能。

要值得注意的是:Redis中的I/O多路复用程序会将所有产生事件的Socket放到一个队列里边,然后通过这个队列以有序、同步、每次一个Socket的方式向文件事件分派器传送套接字。也就是说:当上一个Socket处理完毕后,I/O多路复用程序才会向文件事件分派器传送下一个Socket。

首先,IO多路复用程序首先会监听着Socket的AE_READABLE事件,该事件对应着连接应答处理器

  • 可以理解简单成SocketServet.accpet()
监听着Socket的AE_READABLE事件

此时,一个名字叫做3y的Socket要连接服务器啦。服务器会用连接应答处理器处理。创建出客户端的Socket,并将客户端的Socket与命令请求处理器进行关联,使得客户端可以向服务器发送命令请求。

  • 相当于Socket s = ss.accept();,创建出客户端的Socket,然后将该Socket关联命令请求处理器
  • 此时客户端就可以向主服务器发送命令请求了
客户端请求连接,服务器创建出客户端Scoket,关联命令请求处理器

假设现在客户端发送一个命令请求set Java3y "关注、点赞、评论",客户端Socket将产生AE_READABLE事件,引发命令请求处理器执行。处理器读取客户端的命令内容,然后传给对应的程序去执行。

客户端发送完命令请求后,服务端总得给客户端回应的。此时服务端会将客户端的Scoket的AE_WRITABLE事件与命令回复处理器关联。

客户端的Scoket的AE_WRITABLE事件与命令回复处理器关联

最后客户端尝试读取命令回复时,客户端Socket产生AE_WRITABLE事件,触发命令回复处理器执行。当把所有的回复数据写入到Socket之后,服务器就会解除客户端Socket的AE_WRITABLE事件与命令回复处理器的关联。

最后以《Redis设计与实现》的一张图来概括:

Redis事件交互过程

2.2时间事件

持续运行的Redis服务器会定期对自身的资源和状态进行检查和调整,这些定期的操作由serverCron函数负责执行,它的主要工作包括:

  • 更新服务器的统计信息(时间、内存占用、数据库占用)
  • 清理数据库的过期键值对
  • AOF、RDB持久化
  • 如果是主从服务器,对从服务器进行定期同步
  • 如果是集群模式,对进群进行定期同步和连接
  • ...

Redis服务器将时间事件放在一个链表中,当时间事件执行器运行时,会遍历整个链表。时间事件包括:

  • 周期性事件(Redis一般只执行serverCron时间事件,serverCron时间事件是周期性的)
  • 定时事件

2.3时间事件和文件事件

  • 文件事件和时间事件之间是合作关系,服务器会轮流处理这两种事件,并且处理事件的过程中不会发生抢占。
  • 时间事件的实际处理事件通常会比设定的到达时间一些

三、Redis多线程为什么快?

  • 1)纯内存操作
  • 2)核心是基于非阻塞的IO多路复用机制
  • 3)单线程避免了多线程的频繁上下文切换问题

四、客户端与服务器

在《Redis设计与实现》中各用了一章节来写客户端与服务器,我看完觉得比较底层的东西,也很难记得住,所以我决定总结一下比较重要的知识。如果以后真的遇到了,再来补坑~

服务器使用clints链表连接多个客户端状态,新添加的客户端状态会被放到链表的末尾

客户端--链表
  • 一个服务器可以与多个客户端建立网络连接,每个客户端可以向服务器发送命令请求,而服务器则接收并处理客户端发送的命令请求,并向客户端返回命令回复。
  • Redis服务器使用单线程单进程的方式处理命令请求。在数据库中保存客户端执行命令所产生的数据,并通过资源管理来维持服务器自身的运转。

4.1客户端

客户端章节中主要讲解了Redis客户端的属性(客户端状态、输入/输出缓冲区、命令参数、命令函数等等)


typedef struct redisClient{
    
    //客户端状态的输入缓冲区用于保存客户端发送的命令请求,最大1GB,否则服务器将关闭这个客户端
    sds querybuf;  
    
    
    //负责记录argv数组的长度。
    int argc;   
    
    // 命令的参数
    robj **argv;  
    
    // 客户端要执行命令的实现函数
    struct redisCommand *cmd, *lastcmd;  


    //记录了客户端的角色(role),以及客户端所处的状态。 (REDIS_SLAVE | REDIS_MONITOR | REDIS_MULTI) 
    int flags;             
    
    //记录客户端是否通过了身份验证
    int authenticated;     
    
    //时间相关的属性
    time_t ctime;           /* Client creation time */       
    time_t lastinteraction; /* time of the last interaction, used for timeout */
    time_t obuf_soft_limit_reached_time;
    
    
    //固定大小的缓冲区用于保存那些长度比较小的回复
    /* Response buffer */
    int bufpos;
    char buf[REDIS_REPLY_CHUNK_BYTES];
    
    //可变大小的缓冲区用于保存那些长度比较大的回复
    list *reply; //可变大小缓冲区由reply 链表和一个或多个字符串对象组成
    //...
}

4.2服务端

服务器章节中主要讲解了Redis服务器读取客户端发送过来的命令是如何解析,以及初始化的过程。

服务器从启动到能够处理客户端的命令请求需要执行以下的步骤:

  • 初始化服务器状态
  • 载入服务器配置
  • 初始化服务器的数据结构
  • 还原数据库状态
  • 执行事件循环

总的来说是这样子的:


def main():

    init_server();

    while server_is_not_shutdown();
        aeProcessEvents()

    clean_server();
    

从客户端发送命令道完成主要包括的步骤:

  • 客户端将命令请求发送给服务器
  • 服务器读取命令请求,分析出命令参数
  • 命令执行器根据参数查找命令的实现函数,执行实现函数并得出命令回复
  • 服务器将命令回复返回给客户端

五、最后

现在临近双十一买阿里云服务器就特别省钱!之前我买学生机也要9.8块钱一个月,现在最低价只需要8.3一个月!

无论是Nginx/Elasticsearch/Redis这些技术都是在Linux下完美运行的,如果还是程序员新手,买一个学习Linux基础命令,学习搭建环境也是不错的选择。

如果有要买服务器的同学可通过我的链接直接享受最低价https://m.aliyun.com/act/team1111/#/share?params=N.FF7yxCciiM.pfn5xpli


本来也想把“复制”(主从)在这边一起写的,但写完可能就很长了,所以留到下一篇吧。

如果大家有更好的理解方式或者文章有错误的地方还请大家不吝在评论区留言,大家互相学习交流~~~

参考资料:

  • 《Redis设计与实现》
  • 《Redis实战》

一个坚持原创的Java技术公众号:Java3y,欢迎大家关注

3y所有的原创文章:

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,132评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,802评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,566评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,858评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,867评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,695评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,064评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,705评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,915评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,677评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,796评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,432评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,041评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,992评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,223评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,185评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,535评论 2 343

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,598评论 18 139
  • 时光荏苒 麻木荒芜 匆匆中不知飘向何处 那就做一株暖阳 给人以温暖明媚 储存能量 共度指尖葱茏的时光 是一树花开 ...
    蓝小愚阅读 438评论 3 11
  • 我2017的愿望们 1.去7个城市旅行 【当前进度1/7】 因为清明之后IBU的国际件培训,我阴差阳错的去了一趟深...
    大王老师的日记阅读 411评论 0 2
  • 贾怪人阅读 289评论 1 0
  • 近期一直在出差,昼夜颠倒的日子让我精神有些恍惚。回家后看见床头放的那本八月份的《新闻周刊》还没读完,才发现原...
    Victoria喵阅读 228评论 0 0