Linux 收包流程
- 数据包到达网卡 NIC(Network Interface Card);
- NIC 校验 MAC(网卡非混杂模式)和帧的校验字段 FCS(Frame Check Sequence 帧校验序列);
- NIC 通过 DMA (Direct Memory Access,即直接存储器访问)将数据包放入提前映射好的内存区域;
- NIC 将数据包的引用放入接受的 running buffer 队列(环形缓冲区) rx 中;
- NIC 等待 rx-usecs 的超时时间或者 rx 队列长度达到 rx-frames 后触发中断 IRQ(interrupt request,中断请求);
- CPU 执行硬件中断和网卡的驱动程序;
- 驱动程序清理硬中断并触发软中断 NFT_RX_SOFTIRQ;
- 软中断对网卡进行轮询收包;
- 数据包被放入 qdisc 队列(网卡多队列);
- 将数据包送入协议栈,调用 ip_recv;
- 调用 netfilter 的 PREROUTING 链(数据包做路由计算之前的钩子函数);
- 查找路由表,进行转发或投递到 local;
- 对投递到 local 的数据包调用 netfilter 的 LOCAL_IN 链(所有到本机的数据包都会调用这个钩子函数);
- 调用四层协议栈,如 tcp_v4_rcv;
- 查找到对应的 socket(根据五元组:源IP地址,源端口,目的IP地址,目的端口,和传输层协议,做一个哈希),运行 TCP 的状态机;
- 将数据放入 TCP 的接收缓冲区中;
- 通过 epoll (钩子函数)或者其他轮询方式通知应用程序;
- 应用程序读取数据。
Linux 发包流程
- 应用程序发送数据;
- TCP 为发送的数据申请 skb(一个数据包对象);
- 构建 TCP 头部,如 src 和 dst 的 port,checksum(计算一个校验值);
- 调用第三层协议,构建 IP 头部,调动 netfilter 的 LOCAL_OUT 链(本机出去的数据包都会跑一下这个链上的钩子函数);
- 查找路由表;
- 调用 netfilter 的 POST_ROUTING 链(路由之后的钩子函数);
- 对超过 MTU (最大传输单元 Maximum Transmission Unit)的报文进行分片(fragment);
- 调用二层的发包函数 dev_queue_xmit;
- 将待发数据包放入输出的 QDisc 队列;
- 调用网卡驱动程序,将数据包放入循环缓冲队列 tx;
- 驱动程序在 tx-usercs 的超时时间后,或者积累 tx-frames 个待发数据包后触发软中断;
- 驱动程序启用网卡的硬件中断;
- 驱动程序将数据包映射到 DMA 内存;
- 网卡从 DMA 中取数据并发送;
- 网卡发送完毕后触发硬件中断;
- 硬中断清理中断信号后触发软中断;
- 软中断释放已经发送完的数据包的内存;