阻塞式IO与非阻塞式IO

阻塞式IO与非阻塞式IO

套接字的默认状态是阻塞的。可能阻塞套接字的调用可以分为下面4类：

• 输入操作 包括read, readv, recv, recvfrom 和 recvmsg 共5个函数。
  如果某个进程对一个阻塞的TCP套接字调用这些函数，那么该套接字的接收缓冲区中没有数据可读，该进程将被投入睡眠，直到有一些数据达到。

  因为TCP是字节流协议，该进程的唤醒就是只要有一些数据到达，这些数据既可能是单个字节，也可以是一个完整的TCP分节中的数据。而对于UDP而言，因为UDP是数据报协议，直达有UDP数据报到达，进程才会被唤醒。

  所以对于非阻塞的套接字，如果输入操作不能被满足（对于TCP套接字即至少有一个字节的数据，UDP套接字即有一个完整的数据报可读），相应调用将立即返回一个EWOULDBLOCK错误。

• 输出操作 包括write, writev, send, sendto, sendmsg共5个函数。

  • 阻塞的TCP套接字，内核将从应用进程的缓冲区到该套接字的发送缓冲区复制数据，如果其发送缓冲区中没有空间，进程将被投入睡眠，直到有空间为止。
  • 非阻塞的TCP套接字，如果其发送缓冲区中没有空间，输出函数将立即返回一个EWOULDBLOCK错误。如果其发送缓冲区有一些空间，返回值将是内核能够复制到该缓冲区的字节数。

  而对于UDP套接字，因为UDP套接字不存在真正的发送缓冲区，内核只是复制应用进程数据并把他们向下沿着协议栈传递，逐渐冠以UDP首部和IP首部。因此对于UDP套接字，输出函数不会因为TCP一样的原因而阻塞。但是可能会因为其他原因而阻塞。

• 接受外来连接 accept函数
  对于 accept 函数，如果对一个阻塞的套接字调用 accept 函数，并且尚无新的连接到达，调用进程将被投入睡眠。

  while(true)
  {
      int c_fd = accept(listen_fd, NULL, NULL);
      if (c_fd == -1)
      {
          if (errno != EWOULDBLOCK)   // 非阻塞accept的EWOULDBLOCK错误不处理
          {                               
              fprintf(stderr, "%s: %d: ", __FILE__, __LINE__); 
              perror("accept");
              break;             
          }                               
      }
  }
  

• 发起外出连接 connect 函数
  对于阻塞TCP套接字，connect 函数一直要等到三路握手完成才返回，这意味着每个connect 总会阻塞其调用进程至少一个到服务器的RTT时间。
  非阻塞的TCP套接字，当连接不能立即建立(有些连接可以立即建立)，那么连接的建立能照样发起(发送三路握手的第一个分组)，不过会返回一个 EINPROGRESS 错误。

如何将套接字设置为非阻塞

在 Linux 平台上，我们可以使用 fcntl() 函数或 ioctl() 函数给创建的 socket 增加 O_NONBLOCK 标志来将 socket 设置成非阻塞模式。

int oldSocketFlag = fcntl(sockfd, F_GETFL, 0);
int newSocketFlag = oldSocketFlag | O_NONBLOCK;
fcntl(sockfd, F_SETFL,  newSocketFlag);

在 Linux 下的 socket 函数也可以直接在创建时将 socket 设置为非阻塞模式

int s = socket(AF_INET, SOCK_STREAM | SOCK_NONBLOCK, IPPROTO_TCP);

accept() 函数返回的代表与客户端通信的 socket 也提供了一个扩展函数 accept4()，直接将 accept 函数返回的 socket 设置成非阻塞的。

int clientfd = accept4(listenfd, &clientaddr, &addrlen, SOCK_NONBLOCK);

非阻塞下的 send / write 返回值意义

• send 0 字节
  send 函数发送 0 字节数据，协议栈并不会做什么动作。

int sent_bytes  = 0;
while (true)
{
    int ret = send(clientfd, buf + sent_bytes , buf_length - sent_bytes , 0);
    if (ret == -1)
    {
        // 非阻塞模式下send函数由于TCP窗口太小发不出去数据，错误码是EWOULDBLOCK
        if (errno == EWOULDBLOCK)
        {
            // 严谨的做法，这里如果发不出去，应该缓存尚未发出去的数据
            std::cout << "send data error as TCP Window size is too small." << std::endl;
            break;
        }
        else if (errno == EINTR)
        {
            // 如果被信号中断，我们继续重试
            std::cout << "sending data interrupted by signal." << std::endl;
            continue;
        }
        else
        {
            std::cout << "send data error." << std::endl;
            break;
        }
    }
    else if (ret == 0)
    {
        // 对端关闭了连接，我们也关闭
        std::cout << "send data error." << std::endl;
        close(clientfd);
        break;
    }

    sent_bytes++;
    std::cout << "send data successfully, count = " << count << std::endl;

    // 稍稍降低 CPU 的使用率
    usleep(1);
}

非阻塞下 read / recv 返回值意义

while (true)
{
    char recvbuf[32] = {0};
    int ret = recv(clientfd, recvbuf, 32, 0);
    if (ret > 0)
    {
        // 收到了数据
        std::cout << "recv successfully." << std::endl;
    }
    else if (ret == 0)
    {
        // 对端关闭了连接
        std::cout << "peer close the socket." << std::endl;
        break;
    }
    else if (ret == -1)
    {
        if (errno == EWOULDBLOCK)
        {
            std::cout << "There is no data available now." << std::endl;
            continue;
        }
        else if (errno == EINTR)
        {
            // 如果被信号中断了，则继续重试recv函数
            std::cout << "recv data interrupted by signal." << std::endl;
            continue;
        }
        else
        {
            // 真的出错了
            break;
        }
    }
}

参考资料
《UNIX 网络编程》3th [美] W.Richard Stevens，Bill Fenner，Andrew M. Rudoff