rdma_create_event_channel
该函数用于创建rdma事件通道。
rdma内核层产生的关键事件,如连接建立,数据传输完成,网卡出错事件可以通过事件通道传递给应用层。
该函数与rdma_get_cm_event配合使用。
事件通道创建完成后,需要与的rdma_create_id绑定使用,使用完成后必须通过rdma_destroy_event_channel接口销毁。
rdma_create_id
该函数用于创建一个rdma标识句柄,类似于创建一个socket id。通过该id可以关联到rdma事件通道,通信端点,内核态中的rdma上下文信息。
rdma_bind_addr
将rdma cmid与地址进行绑定。
rdma_resolve_addr
该接口用于将上层用户指定的IP+port地址转换为RDMA通信所使用的GID等地址信息。是RDMA客户端发起连接前必须要完成的步骤。调用该接口后,是否解析完成,可以通过监测事件通道中是否存在RDMA_CM_EVENT_ADDR_RESOLVED事件确定。
rdma_resolve_route
通过调用rdma_resolve_addr解析出目标地址后,调用该函数解析如何到达目标地址。是否解析完成,可以检测事件通道中的RDMA_CM_EVENT_ROUTE_RESOLVED事件进行判定。
该接口只能在调用rdma_resolve_addr后进行调用,否则会直接失败。
rdma_listen
当绑定地址端口后,在该端口进行监听rdma客户端连接。
rdma_get_cm_event
从rdma事件通道中读取RDMA通信管理事件,例如有外来通信连接,网卡异常等。该接口是一个阻塞调用。
RDMA通信管理事件中常见的事件类型有如下:

当通过该接口接收到RDMA事件后,在完成处理后,需要调用rdma_ack_cm_event完成事件响应。
rdma_ack_cm_event
当调用rdma_get_cm_event获取一个RDMA通信事件并完成处理后,需要调用该接口对获取的事件进行一个响应确认。
ibv_alloc_pd
该接口是rdma/ib编程中用于分配保护域(PD)的接口函数,PD是RDMA资源管理的核心边界,他为RDMA中的核心资源QP,MR,CQ提供资源隔离与权限控制。
PD是RDMA资源分组容器,所有用于传输的核心资源(QP,MR,AH)都必须归属到某个PD下。
PD提供安全隔离,不同PD下的资源无法互相访问。
PD是权限控制的最小单元。

ibv_reg_mr
注册内存区域。是rdma远程访问的关键,将本地虚拟内存注册到网卡,当网卡接收到远端发起的内存访问时,网卡与内存直接交互访问。通过该函数注册内存时可以指定内存的访问权限。
注册内存时可提供的访问权限:

通过该接口注册内存时指定的内存必须是连续的,并且与rdma硬件做页面大小对齐。
通过该函数注册内存后,会得到两个key,Lkey用于本地QP访问内存时的“凭证”,RKey 用于远端QP访问内存时的“凭证”。
ibv_create_cq
该接口用于创建完成队列,是RDMA通信中异步操作的通知中心,所有RDMA操作的完成状态都通过cq反馈。
CQ的使用逻辑一般如下:
RDMA的操作是异步的,调用发送函数后,CPU不会等待硬件完成操作,而是直接返回。
当硬件完成传输后,会在CQ中写入一条完成事件。
应用层通过轮询的方式访问CQ,读取CQ中的事件从而知道哪些操作已经完成。
一个CQ可以绑定到多个QP上。
CQ的访问有两种方式,一种是通过接口ibv_poll_cq进行轮询,检查CQ中是否存在硬件写入的完事事件。另外一种是通过ibv_get_cq_event + ibv_ack_cq_events接口通过异步的方式获取CQ中的完成事件。
此外在创建CQ时,可以通过最后一个参数comp_vector指定CPU亲和性(即可以指定在多核架构中,当该CQ中有完成事件时,由那一个CPU处理该CQ触发的中断)。
rdma_create_qp
该接口用于创建QP(queue pair),QP是RDMA网络通信的核心概念,QP包含一个发送队列,一个接收队列。
QP本质上是RDMA硬件上的队列结构,QP的操作不占用主机CPU资源,用户通过向QP中写入WQE(工作队列元素)与QP进行交互。
QP根据面向连接和可靠性分多种类型:

在创建QP时,需要指定QP关联的保护域PD(通过接口函数ibv_alloc_pd创建),同时需要指定发送队列和接收队列关联的CQ(通过接口函数ibv_create_cq创建)。
rdma_accept
rdma_accept的核心作用是服务端接受客户端的连接请求,将QP的状态从RTR切换到RTS,建立起与客户端之间的可靠连接传输通道。
当连接通道建立完成后,服务端会收到RDMA_CM_EVENT_ESTABLISHED事件。
ibv_poll_cq
该接口用于轮询CQ(完成队列),并从完成队列中获取完成事件,例如客户端向服务端内存中写入了一块数据,写入完成后,服务端的CQ队列中即会产生一个写入事件,通过检测CQ中是否存在该事件可以判断是否存在数据写入。
rdma_connect
在可靠连接模式下(RC),该接口用于客户端向服务端发起连接,触发客户端和服务端双方的QP状态发生切换,并最终建立起客户端与服务端之间的数据传输通道,该接口必须在
rdma_resolve_addr和rdma_resolve_route调用后进行调用。
当调用成功后,在客户端会触发RDMA_CM_EVENT_ESTABLISHED事件,在服务端会触发RDMA_CM_EVENT_CONNECT_REQUEST事件。
ibv_post_send
ibv_post_send 是 RDMA 编程中向发送队列(SQ)提交发送工作请求(WR)的核心函数。简单来说,它的作用是:将一个RDMA 发送操作(如发送数据、RDMA 写、RDMA 读等)的描述信息提交到 QP 的发送队列中,交由 RDMA 硬件 / 驱动异步执行,完成后会在绑定的 CQ 中生成完成事件。
调用该函数时,QP的状态必须是RTS状态,所使用的内存空间必须是通过ibv_reg_mr注册的地址。
ibv_post_recv
ibv_post_recv 是 RDMA 编程中向接收队列(RQ)提交接收工作请求(WR)的核心函数,即预先向 QP 的接收队列中投递 “接收缓冲区”,告诉 RDMA 硬件 “当有数据到达时,直接把数据写到这些缓冲区里”,操作完成后会在绑定的 CQ 中生成完成事件
RDMA接收数据时,必须预先发布接收缓冲区后,才能从远端接收数据,如果没有发布接收缓冲区,接收到的数据会被RDMA硬件丢弃。
此外在调用该接口时QP的状态必须是RTR或RTS状态,接收缓冲区必须是通过ibv_reg_mr注册的本地内存。