DPDK capture原理

本文主要介绍DPDK框架下进行报文捕获的方法,并对各种方法的优劣进行简单分析。

1.pdump库的使用

在DPDK的16.07版本中,添加了Packet capture特性,通过pdump库可以非常方便的进行报文的捕获:
a) 在程序初始化过程中调用rte_pdump_init,启动dump_thread进行消息的监听:
#ifdef RTE_LIBRTE_PDUMP
/* initialize packet capture framework /
rte_pdump_init(NULL);
#endif
b) 在程序退出前调用rte_pdump_uninit进行资源的释放:
#ifdef RTE_LIBRTE_PDUMP
/
uninitialize packet capture framework */
rte_pdump_uninit();
#endif
c) 启动pdump程序,发送抓包命令,进行抓包。

基本流程与数据流如下所示:


pdump capture.png

步骤详细说明:

  1. A采用rx-worker-tx的模型进行报文的处理,其中调用rte_pdump_init会启动dump_thread,即图中红色的message线程;
  1. pdump采用secondary模式启动,与A共享mmap映射的内存空间;
  2. pdump启动过程中会创建mbuf_pool和ring,用于后续接收A中报文的拷贝;
  3. pdump会通过rte_eth_dev_attach方式创建vdev,且采用eth_pcap驱动进行初始化,留意init中的open_tx_pcap;
  4. pdump向A发送开启抓包的消息(UDP方式),消息内容为前面创建的mbuf_pool、ring以及抓包的port和对应的queue;
  5. A中的dump_thread收到消息后,获取相应信息,在port上注册call_back函数;
  6. 对于开启抓包的port,在rx_burst/tx_burst时会先调用call_back,这里对应pdump_rx/pdump_tx,它会由mbuf_pool中分配mbuf进行报文的复制,同时enqueue到ring中;(mbuf_pool和ring在步骤3中创建,在步骤5中传递给A)
  7. pdump进行ring的dequeue操作获取拷贝报文;
  8. 拷贝报文通过rte_eth_tx_burst发送给vdev;
  9. vdev通过eth_pcap的tx_pkt_burst发送报文,即调用eth_pcap_tx_dumper完成报文的pcap存储(pcap_dump)。

2.KNI方式

kNI,全称 Kernel NIC Interface,下面是DPDK官方手册对它的介绍:

The Kernel NIC Interface (KNI) is a DPDK control plane solution that allows userspace applications to exchange packets with the kernel networking stack.

这里对data plane和control plane进行简单说明:
data plane专注于报文的转发;control plane专注于协议处理,如ospf计算。如果采用DPDK架构,那么就会遇到如下问题:

不论是协议报文还是数据报文通过port接收后,都到了data plane,data plane如何将协议报文交给control plane呢?
control plane(往往不是DPDK程序)与网络设备进行协议交互时,报文又如何投递给port发送出去呢?

KNI就是control plane与data plane间的桥梁:加载rte_kni.ko驱动后,Linux内核响应DPDK程序中发送的IOCTL消息创建虚拟接口并转换FIFO地址用于后续的报文交互。

在DPDK提供pdump特性前,对报文抓取主要就是采用KNI方式:
a) DPDK程序创建虚拟接口;
b) 将收到的报文发送给虚拟接口;
c) 启用类似tcpdump的工具抓取虚拟接口上的报文。

基本流程和数据流如下:


kni capture.png

步骤详细说明:

  1. A启动时候,创建mbuf_pool,指定kthread的绑定方式,然后通过调用rte_kni_alloc创建FIFO队列,并发送IOCTL消息创建vEth;
  1. IOCTL消息处理时,既会创建vEth,同时也会启动ktread_kni内核线程,这个线程用于将A中的报文发送给内核协议栈(在其它场景中,也可以将内核发送给vEth的报文通过tx_q传递给A:kni_net_tx);
  2. A可以实现一个message线程,用于接收类似PDUMP进程的消息来开启抓包;
  3. 启动自定义的PDUMP程序,发送抓包命令;
  4. 消息传递可以采用进程间通信机制,消息格式自行定义;
  5. A中判断报文是否需要dump,如果需要dump,则将报文clone后通过rte_kni_tx_burst传递给内部的rx_q队列;
  6. kthread_kni内核线程调用kni_net_rx,获取rx_q中的报文;
  7. 报文获取后,转换为skb,设置skb的dev为vEth,然后通过netif_rx_ni交给内核协议栈。这时tcpdump就可抓获传递到vEth的报文了。

图中省略了操作前的insmod rte_kni.ko和最后的tcpdump工具使用。

3.用户态实现报文捕获和dump

一般DPDK程序作为data plane使用,在部分设计过程中,则将DPDK框架用于旁路部署,进行高性能抓包,相关设计可以参考:
github上的项目:https://github.com/Woutifier/dpdkcap
科来的专利:http://www.google.com/patents/CN105357151A?cl=zh

如果是串接或单臂模式这样的data plane程序,在DPDK框架中进行报文的捕获和dump操作是不合时宜的,因为它对程序自身的转发性能影响非常大,而且增加了设计复杂度。

说明:上文中的A,指采用DPDK框架的primary进程,不同的转发模型中它包含不同的线程。

4.优劣比较

a) pdump库使用方便,性能高(仅有一次copy,步骤7);不过它在16.07才支持,低版本不支持,且16.07版本中还不支持filter;
b) KNI方式,需要创建thread,性能应该略低于pdump(KNI内部fifo处理有一定开销),开发工作较多,但可以自行实现过滤功能,相比pdump的全copy在某些场景会更适用,且使用tcpdump抓取在运维上更方便;
c) pdump方式,拷贝由port的驱动完成,dump到文件则由pdump程序完成;KNI方式,拷贝在用户态空间完成,发送到内核态后,dump到文件则有tcpdump完成;在DPDK框架中进行报文捕获和dump,仅推荐用于旁路抓包。

本文对DPDK的抓包原理进行了简单介绍,并比较了各种方式的优劣,对于抓包的具体设计和性能权衡则没有做过多的探究,希望对大家能有所帮助。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,222评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,455评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,720评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,568评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,696评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,879评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,028评论 3 409
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,773评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,220评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,550评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,697评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,360评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,002评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,782评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,010评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,433评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,587评论 2 350

推荐阅读更多精彩内容