Redis服务器是一个事件驱动程序,服务器需要处理以下两类事件:
- 文件事件(
file event
):Redis
服务器通过套接字与客户端进行连接,而文件事件就是服务器对套接字操作的抽象。服务器和客户端的通信会产生相应的文件事件,而服务器则通过监听并处理这些事件来完成一系列的网路通信操作。 - 时间事件(
time event
):Redis
服务器中的一些操作(serverCron
函数)需要在给定的时间点执行,而时间事件就是服务器对这类定时操作的抽象。
12.1 文件事件
Redis
基于Reactor
模式开发了自己的网络事件处理器:这个处理器被称为文件事件处理器(file event handler
):
- 文件事件处理器使用
I/O
多路复用程序来同时监听多个套接字,并根据套接字目前执行的任务来为套接字关联不同的时间处理器。 - 当被监听的套接字准备好执行连接应答(
accept
)、读取(read
)、写入(write
)、关闭(close
)等操作时,与操作相对应的文件事件就会产生,这时文件事件处理器就会调用套接字之前关联好的事件处理器来处理这些事件。
虽然文件事件处理器以单线程方式运行,但通过使用I/O多路复用程序来监听多个套接字,文件事件处理器既实现了高性能的网络通信模型,又可以很好地与Redis服务器中其他同样以单线程方式运行的模块进行对接,这保持了Redis内部单线程设计的简单性。
12.1.1 文件事件处理器的构成
文件事件处理器有四个部分组成,分别是套接字、I/O
多路复用程序、文件事件分派器,以及事件处理器。
文件事件是对套接字操作的抽象,每当一个套接字准备好执行连接应答(accept
)、写入、读取、关闭等操作时,就会产生一个文件事件。因为一个服务器通常会连接多个套接字,所以多个文件事件可能会并发地出现。
I/O
多路复用程序负责监听多个套接字,并向文件事件分派器传送那些产生了事件的套接字。
尽管多个文件事件可能会并发地出现,但I/O
多路复用程序总是会将所有产生事件的套接字都放到一个队列里面,然后通过这个队列,以有序、同步、每次一个套接字的方式向文件事件分派器传送套接字。当上一个套接字产生的事件被处理完毕之后,I/O
多路复用程序才会继续向文件事件分派器传送下一个套接字。
文件事件分派器接受I/O
多路复用程序传来的套接字,并根据套接字产生的事件类型,调用相应的事件处理器。
服务器会为执行不同任务的套接字关联不同的事件处理器,这些处理器是一个个函数,它们定义了某个事件发生时,服务器应该执行的动作。
12.1.2 I/O多路复用程序的实现
Redis
的I/O
多路复用程序的所有功能都是通过包装创建的select
、epoll
、evport
和kqueue
这些I/O
多路复用函数库来实现的,每个I/O
多路复用函数库在Redis
源码中都对应一个单独的源文件。
因为Redis
为每个I/O
多路复用函数库都实现了相同的API
,所以I/O
多路复用程序的底层实现时可以互换的。
12.1.3 事件类型
I/O
多路复用程序可以监听多个套接字的ae.h/AE_READABLE
事件和ae.h/AE_WRITABLE
事件,这两类事件和套接字操作之间的对应关系如下:
- 当套接字变得可读时(客户端对套接字执行
write
操作,或者执行close
操作),或者有新的可应答(acceptable
)套接字出现时(客户端对服务器的监听套接字执行connection
操作),套接字产生AE_READABLE
事件。 - 当套接字变得可写时(客户端对套接字执行
read
操作),套接字产生AE_WRITABLE
事件。
I/O
多路复用程序允许服务器同时监听套接字的AE_READABLE
事件和AE_WRITEABLE
事件,如果一个套接字同时产生了这两种事件,那么文件事件分派器会有限处理AE_READABLE
事件,等到AE_READABLE
事件处理完之后,才处理AE_WRITEABLE
事件。
12.1.4 API
略(可以参考Netty和Linux)
12.1.5 文件事件处理器
Redis
为文件事件编写了多个处理器,这些事件处理器分别用于实现不同的网络通信需要。
- 为了对连接服务器的各个客户端进行应答,服务器要为监听套接字关联连接应答服务器。
- 为了接受客户端传来的命令请求,服务器腰围客户端套接字关联命令请求处理器
- 为了向客户端返回命令的执行结果,服务器要为客户端套接字关联命令回复处理器。
- 当主服务器和从服务器进行复制操作时,主从服务器都需要关联特别为复制功能编写的复制处理器。
服务器最常用的是与客户端进行通信的连接应答处理器、命令请求处理器和命令回复处理器。
1. 连接应答处理器
networking.c/acceptTcpHandler
函数是Redis
的连接应答处理器,这个处理器用于对连接服务器监听套接字的客户端进行应答,具体实现为sys/socket.h/accept
函数的包装。
当Redis
服务器进行初始化的时候,程序会将这个连接应答处理器和服务器监听套接字的AE_READABLE
事件关联起来,当有客户端用sys/socket.h/connect
函数连接服务器监听套接字的时候,套接字就会产生AE_READABLE
事件,引发连接应答处理执行,并执行相应的套接字应答操作。
2. 命令请求处理器
networking.c/readQueryFromClient
函数是Redis
的命令请求处理器,这个处理器负责从套接字中读入客户端发送的命令请求内容,具体实现为unistd.h/read
函数的包装。
当一个客户端通过连接应答处理器成功连接到服务器之后,服务器会将客户端套接字的AE_READABLE
事件和命令请求处理关联起来,当客户端向服务器发送命令请求的时候,套接字就会产生AE_READABLE
事件,引发命令请求处理器执行,并执行相应的套接字读入操作。
在客户端连接服务器的整个过程中,服务器都会一直为客户端套接字的AE_READABLE
事件关联命令请求处理器。
3. 命令回复处理器
networking.c/sendReplyToClient
函数是Redis
的命令回复处理器,这个处理器负责将服务器执行命令后得到的命令回复通过套接字返回给客户端。具体实现为unistd.h/write
函数的包装。
当服务器有命令回复需要传送给客户端的时候,服务器会将客户端套接字的AE_WRITEABLE
事件和命令回复处理器关联起来,当客户端准备好接受服务器传回的命令回复时,就会产生AE_WRITEABLE
事件,引发命令回复处理器执行,并执行相应的套接字写入操作。
当命令回复发送完毕之后,服务器就会解除命令回复处理器与客户端套接字的AE_WRITEABLE
事件之间的关联。
4. 一次完整的客户端与服务器连接事件示例
假设一个Redis
服务器正在运作,那么这个服务器的监听套接字的AE_READABLE
事件应该正处于监听状态之下,而该事件所对应的处理器为连接应答处理器。
如果这时有一个Redis
客户端向服务器发起连接,那么监听调节自将产生AE_READABLE
事件,触发连接应答处理器执行。处理器会对客户端的连接请求进行应答,然后创建客户端套接字,以及客户端状态,并将客户端套接字的AE_READABLE
事件与命令请求处理器进行关联,是的客户端可以向主服务器发送命令请求。
之后,客户端向主服务器发送一个命令请求,那么客户端套接字将产生AE_READABLE
事件,引发命令请求处理器执行,处理器读取客户端的命令内容,然后传给相关程序去执行。
执行命令将产生相应的命令回复,为了将这些命令回复传送回客户端,服务器会将客户端套接字的AE_WRTIEABLE
事件与命令处理器进行关联,当客户端尝试读取命令回复的时候,客户端套接字将产生AE_WRITEABLE
事件,触发命令回复处理器执行,当命令回复处理器将命令回复全部写入到套接字之后,服务器就会接触客户端套接字的AE_WRITABLE
事件与命令回复处理器之间的关联。
12.2 时间事件
Redis
的时间事件分为以下两类:
- 定时事件:让一段程序在指定的时间之后执行一次。
- 周期性事件:让一段程序每隔指定事件就执行一次。
一个时间事件主要由以下三个属性组成:
-id
:服务器为时间事件创建的全局唯一ID
(标识号)。ID
号从小到大的顺序递增,新事件的ID
号比旧事件的ID
号要大。
-
when
:毫秒级别的UNIX
时间戳,记录了时间事件的到达事件。 -
timeProc
:时间事件处理器,一个函数。
一个时间事件是定时是事件还是周期性事件取决于时间事件处理器的返回值:
- 如果事件处理器返回
ae.h/AE_NOMORE
,那么这个事件为定时事件:该事件在达到一次之后就会被删除,之后不在到达。 - 如果事件处理器返回一个非
AE_NOMORE
的整数值,那么这个事件为周期性事件:当一个时间事件到达之后,服务器会根据事件处理器返回的值,对时间事件的when属性进行跟新,让这个事件在一段时间之后再次到达,一直更新并运行下去。
目前版本的Redis
只有用周期性事件,而没有使用定时事件。
12.2.1 实现
服务器将所有时间事件都放在一个无序链表中,每当时间事件执行器运行时,它就遍历整个链表,查找所有已到达的时间事件,并调用相应的时间处理。
新的时间事件总是插入到链表的表头,所以表头的ID
最大,表尾的ID
最小。
注意:保存时间事件的链表为无序链表,指的不是链表不按ID
排序,而是说,该链表不按when
属性的大小排序。正因为链表没有按when
属性进行排序,所以当时间事件执行器运行的时候,它必须遍历链表中的所有时间事件,这样才能确保服务器中所有已到达的时间事件都会被处理。
12.2.2 API
略
12.2.3 时间事件应用实例:serverCron函数
持续运行的Redis
服务器需要定期对自身的资源和状态进行检查和调整,从而确保服务器可以长期、稳定的运行,这些定期操作由redis.c/serverCron
函数负责执行,它的主要工作包括:
- 更新服务器的各类统计信息,比如时间、内次占用、数据库占用情况等。
- 清理数据库中的过期键值对。
- 关闭和清理连接失效的客户端。
- 尝试进行
AOF
或RDB
持久化操作 - 如果服务器是主服务器,那么对从服务器进行定期同步
- 如果处于集群模式,对集群进行定期同步和连接测试。
Redi
s服务器以周期性事件的方式来运行serverCron
函数,在服务器运行期间,每个一段时间,serverCron
就会执行一次,知道服务器关闭为止。
默认规定serverCron
每秒运行10
次,平均每间隔100
毫秒运行一次。
12.3 事件的调度与执行
因为服务器中同时存在文件事件和时间事件两种事件类型,所以服务器必须对这两种事件进行调度,决定何时应该处理文件事件,何时又应该处理事件事件,以及花多少事件来处理他们。
以下是事件的调度和执行规则
-
aeApiPoll
函数的最大阻塞时间由到达时间最近当前时间的时间事件决定,这个方法既可以避免服务器对时间事件进行频繁的轮询,也可以确保aeApiPoll
函数不会阻塞过长的时间。 - 因为文件事件是随机出现的,如果等待并处理完一次文件事件之后,仍未有任何时间事件到达,那么服务器将再次等待并处理文件事件。随着文件事件的不断执行,事件会逐渐向时间事件所设置的到达时间逼近,并最终来到到达时间,这时服务器就可以开始处理到达的时间事件了。
- 对文件事件和时间事件的处理都是同步、有序、原子的执行的,服务器不会中途中断事件处理,也不会对事件进行抢占,因此,不管是文件事件的处理器,还是事件事件的处理器,他们都会尽可能地减少程序的阻塞事件,并在有需要的时候主动让出执行权,从而降低造成事件饥饿的可能性。另外,事件事件也会将非常耗时的持久化操作放到子线程或者子进程中执行。
- 因为时间事件在文件事件之后执行,并且事件之间不会出现抢占,所以时间事件的实际处理事件,通常会比时间事件设定的到达时间稍微晚一些。