并发服务器模型
引子
从09年在企鹅厂实习起开始接触服务器开发,第一次看到是一份内部的PPT,相较于之前接受的ACM/ICPC算法训练、工具程序开发、和Visual Studio可视化的GUI开发,有种开天辟地的感觉。
然后接着看UNP(《UNIX Network Programming》),逐步的学到两点:
1)UNIX系提供的编程接口(带缓冲的IO、Socket接口、锁、共享内存);2)并发服务器的设计模式(阻塞/非阻塞、多线程/多进程、select/poll多路复用)。
再来看POSA2(《Pattern-Oriented Software Architecture: Patterns for Concurrent and Networked Objects》),其结合了比GOF更加实际的例子来说明,POSA2给出的例子几乎都是实际开发中遇得到实实在在的服务器设计问题。GOF也更偏向编程技法,而POSA2更偏向于架构设计。
UNIX系提供的编程接口
从这里开始,接触到了一个最纯粹的操作系统——UNIX:1)面向程序员;2)提供高性能可编程的计算和资源操控(内存、硬盘、网络)的平台。
这个系统并不面向:1)GUI界面,2)日常办公。
它的核心就是:1)计算,2)资源操控。
这对于以一种纯净的方式理解好操作系统非常重要:1)程序员需要什么;2)操作系统提供了什么;3)操作系统为什么这样设计。从这些接口、操作方式的设计中,我们可以从其中学习到大型系统在设计时候如何做设计权衡(tradeoff&consequence),如何定义设计空间(design space)并在其中调节设计。
并发服务器的设计模式
首先来看UNP中最重要的章节:“第六章:I/O多路复用”。
Unix提供了五种不同的I/O模型,并给出了详细的配图:
- 阻塞式I/O模型
- 非阻塞式I/O模型
- I/O复用模型
- 信号驱动式I/O模型
- 异步I/O模型
下面这个图可以很直观的说明问题:
再来看UNP中最最重要的章节:“第三十章:服务器程序设计范式”。
UNP列出下面9种服务器范式,代码主要逻辑也不难,不过首先得理解:阻塞/非阻塞、多线程/多进程、select/poll多路复用。然后再看看直观的图解。
- 迭代服务器
- 每个请求fork一个进程
- prefork若干个进程
- prefork对accept加文件锁
- prefork对accept加线程锁
- prefork在父进程统一accept传递fd
- 每个请求一个thread
- prethread线程,每个线程各自accept,互斥锁保护
- prethread线程,主线程统一accept传递fd
另外,陈硕老师的《Linux 多线程服务端编程:使用muduo C++ 网络库》也列出了其他更多服务器范式:
- reactor + thread-per-task
- reactor + worker thread
- reactor + thread poll
- reactors in threads
- reactors in processes
- reactors + thread pool
有哪些可以评价一个并发服务器的指标?
- 吞吐量(Throughput)
- QPS
- 延迟(latency)
- 并发数目(concurrency)