RDMA编程常见接口

rdma_create_event_channel

该函数用于创建rdma事件通道。

rdma内核层产生的关键事件,如连接建立,数据传输完成,网卡出错事件可以通过事件通道传递给应用层。

该函数与rdma_get_cm_event配合使用。

事件通道创建完成后,需要与的rdma_create_id绑定使用,使用完成后必须通过rdma_destroy_event_channel接口销毁。

rdma_create_id

该函数用于创建一个rdma标识句柄,类似于创建一个socket id。通过该id可以关联到rdma事件通道,通信端点,内核态中的rdma上下文信息。

rdma_bind_addr

将rdma cmid与地址进行绑定。

rdma_resolve_addr

该接口用于将上层用户指定的IP+port地址转换为RDMA通信所使用的GID等地址信息。是RDMA客户端发起连接前必须要完成的步骤。调用该接口后,是否解析完成,可以通过监测事件通道中是否存在RDMA_CM_EVENT_ADDR_RESOLVED事件确定。

rdma_resolve_route

通过调用rdma_resolve_addr解析出目标地址后,调用该函数解析如何到达目标地址。是否解析完成,可以检测事件通道中的RDMA_CM_EVENT_ROUTE_RESOLVED事件进行判定。

该接口只能在调用rdma_resolve_addr后进行调用,否则会直接失败。

rdma_listen

当绑定地址端口后,在该端口进行监听rdma客户端连接。

rdma_get_cm_event

从rdma事件通道中读取RDMA通信管理事件,例如有外来通信连接,网卡异常等。该接口是一个阻塞调用。

RDMA通信管理事件中常见的事件类型有如下:

当通过该接口接收到RDMA事件后,在完成处理后,需要调用rdma_ack_cm_event完成事件响应。


rdma_ack_cm_event

当调用rdma_get_cm_event获取一个RDMA通信事件并完成处理后,需要调用该接口对获取的事件进行一个响应确认。


ibv_alloc_pd

该接口是rdma/ib编程中用于分配保护域(PD)的接口函数,PD是RDMA资源管理的核心边界,他为RDMA中的核心资源QP,MR,CQ提供资源隔离与权限控制。

PD是RDMA资源分组容器,所有用于传输的核心资源(QP,MR,AH)都必须归属到某个PD下。

PD提供安全隔离,不同PD下的资源无法互相访问。

PD是权限控制的最小单元。


ibv_reg_mr

注册内存区域。是rdma远程访问的关键,将本地虚拟内存注册到网卡,当网卡接收到远端发起的内存访问时,网卡与内存直接交互访问。通过该函数注册内存时可以指定内存的访问权限。

注册内存时可提供的访问权限:

通过该接口注册内存时指定的内存必须是连续的,并且与rdma硬件做页面大小对齐。

通过该函数注册内存后,会得到两个key,Lkey用于本地QP访问内存时的“凭证”,RKey 用于远端QP访问内存时的“凭证”。

ibv_create_cq

该接口用于创建完成队列,是RDMA通信中异步操作的通知中心,所有RDMA操作的完成状态都通过cq反馈。

CQ的使用逻辑一般如下:

RDMA的操作是异步的,调用发送函数后,CPU不会等待硬件完成操作,而是直接返回。

当硬件完成传输后,会在CQ中写入一条完成事件。

应用层通过轮询的方式访问CQ,读取CQ中的事件从而知道哪些操作已经完成。

一个CQ可以绑定到多个QP上。

CQ的访问有两种方式,一种是通过接口ibv_poll_cq进行轮询,检查CQ中是否存在硬件写入的完事事件。另外一种是通过ibv_get_cq_event + ibv_ack_cq_events接口通过异步的方式获取CQ中的完成事件。

此外在创建CQ时,可以通过最后一个参数comp_vector指定CPU亲和性(即可以指定在多核架构中,当该CQ中有完成事件时,由那一个CPU处理该CQ触发的中断)。

rdma_create_qp

该接口用于创建QP(queue pair),QP是RDMA网络通信的核心概念,QP包含一个发送队列,一个接收队列。

QP本质上是RDMA硬件上的队列结构,QP的操作不占用主机CPU资源,用户通过向QP中写入WQE(工作队列元素)与QP进行交互。

QP根据面向连接和可靠性分多种类型:

在创建QP时,需要指定QP关联的保护域PD(通过接口函数ibv_alloc_pd创建),同时需要指定发送队列和接收队列关联的CQ(通过接口函数ibv_create_cq创建)。

rdma_accept

rdma_accept的核心作用是服务端接受客户端的连接请求,将QP的状态从RTR切换到RTS,建立起与客户端之间的可靠连接传输通道。

当连接通道建立完成后,服务端会收到RDMA_CM_EVENT_ESTABLISHED事件。

ibv_poll_cq

该接口用于轮询CQ(完成队列),并从完成队列中获取完成事件,例如客户端向服务端内存中写入了一块数据,写入完成后,服务端的CQ队列中即会产生一个写入事件,通过检测CQ中是否存在该事件可以判断是否存在数据写入。

rdma_connect

在可靠连接模式下(RC),该接口用于客户端向服务端发起连接,触发客户端和服务端双方的QP状态发生切换,并最终建立起客户端与服务端之间的数据传输通道,该接口必须在

rdma_resolve_addr和rdma_resolve_route调用后进行调用。

当调用成功后,在客户端会触发RDMA_CM_EVENT_ESTABLISHED事件,在服务端会触发RDMA_CM_EVENT_CONNECT_REQUEST事件。

ibv_post_send

ibv_post_send 是 RDMA 编程中向发送队列(SQ)提交发送工作请求(WR)的核心函数。简单来说,它的作用是:将一个RDMA 发送操作(如发送数据、RDMA 写、RDMA 读等)的描述信息提交到 QP 的发送队列中,交由 RDMA 硬件 / 驱动异步执行,完成后会在绑定的 CQ 中生成完成事件。

调用该函数时,QP的状态必须是RTS状态,所使用的内存空间必须是通过ibv_reg_mr注册的地址。

ibv_post_recv

ibv_post_recv 是 RDMA 编程中向接收队列(RQ)提交接收工作请求(WR)的核心函数,即预先向 QP 的接收队列中投递 “接收缓冲区”,告诉 RDMA 硬件 “当有数据到达时,直接把数据写到这些缓冲区里”,操作完成后会在绑定的 CQ 中生成完成事件

RDMA接收数据时,必须预先发布接收缓冲区后,才能从远端接收数据,如果没有发布接收缓冲区,接收到的数据会被RDMA硬件丢弃。

此外在调用该接口时QP的状态必须是RTR或RTS状态,接收缓冲区必须是通过ibv_reg_mr注册的本地内存。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容