DPDK+OVS+QEMU搭建vhost-user实验环境

目前在virtio后端驱动方面性能最好的是用户态的vhost-user,而DPDK又是用户态vhost实现里使用最广泛的。下面介绍一下怎么搭建这样一个vhost-user实验环境。我们这里使用的全部是最新的版本(ovs2.8+DPDK17.05+qemu2.9.93).

1.由于涉及到虚拟化,先检查计算机是否开启了虚拟化

先确保计算机bios打开了Intel-VT,然后检查grub选项是否开启了IOMMU,vim打开/etc/default/grub,在GRUB_CMDLINE_LINUX_DEFAULT后的引号里面加上一句:

iommu=pt intel_iommu=on default_hugepagesz=1G hugepagesz=1G hugepages=8

如图所示:

grub设置.png

这里直接添加了大页的配置,DPDK的大页配置支持2MB大页和1GB大页,使用的时候根据具体情况而定,这里我们分配了8个1GB的大页。

2.然后编译DPDK

DPDK默认编译成.a的静态链接库,但也可以修改DPDK文件夹下的config/common_base文件里的CONFIG_RTE_BUILD_SHARED_LIB=y (但有一点要注意的就是,common_base是生成所有平台下编译选项的基础,直接修改也会影响其他target下的编译,也可以仅仅修改生成的本平台下的config文件,或者lib库编译里面的build/.config)来编译成动态链接库。该文件是所有架构下最基础引用的配置文件,在文件中可以设置某些库不编译,以及是否编译允许debug等。但是不建议编译成动态库,后续链接麻烦

之后就和官网教程一样,设置编译目标环境,config等

make config T=x86_64-native-linuxapp-gcc

sed -ri 's,(PMD_PCAP=).*,\1y,' build/.config

make

make install

make完成之后,如果选择的是编译成静态链接库,这段无视。如果编译成动态链接库,去build/lib文件夹下把整个文件夹里面的.so动态链接库文件全部复制到/usr/lib/dpdk/文件夹下,没有文件夹就建一个。然后在/etc/ld.so.conf.d/文件夹下建一个dpdk.conf文件,编辑dpdk.conf,写一句话:/usr/lib/dpdk。保存退出,命令行输入ldconfig,使系统自动加载的动态链接库生效。

3.编译OVS

先安装OVS编译过程中会缺的库:

sudo apt-get install autoconf automake libtools python-pip
pip install six

在OVS文件夹内configure时加上--with-dpdk选项,即可与DPDK关联。

./configure --with-dpdk=$DPDK_BUILD

DPDK_BUILD就是之前编译dpdk之后产生的build文件夹路径。
然后

make

sudo make install

安装完成之后,就可以启动ovs了,需要DPDK实现绑定大页和网卡,以后每次启动ovs只需要最下面两个命令启动ovs最重要两个进程即可:

modprobe vfio-pci

chmod a+x /dev/vfio

chmod 0666 /dev/vfio/*

dpdk-stable-17.05.1/usertools/dpdk-devbind.py --bind=vfio-pci eth4

mount -t hugetlbfs -o pagesize=1G none /dev/hugepages

mkdir -p /usr/local/etc/openvswitch
mkdir -p /usr/local/var/log/openvswitch
mkdir -p /usr/local/var/run/openvswitch
#刚装完OVS需要新创建这几个目录,不然会提示找不到文件,以后用的时候不用

ovsdb-tool create /usr/local/etc/openvswitch/conf.db vswitchd/vswitch.ovsschema  #利用ovsdb-tool创建ovsdb数据库,第一次需要

ovsdb-server --remote=punix:/usr/local/var/run/openvswitch/db.sock --remote=db:Open_vSwitch,Open_vSwitch,manager_options --private-key=db:Open_vSwitch,SSL,private_key --certificate=db:Open_vSwitch,SSL,certificate --bootstrap-ca-cert=db:Open_vSwitch,SSL,ca_cert --pidfile --detach  #启动ovsdb进程

ovs-vsctl --no-wait set Open_vSwitch . other_config:dpdk-init=true #设置OVS里的一些配置

ovs-vswitchd --pidfile --detach   #启动ovs-vswitch进程

其中的网卡绑定结合实际选择网卡,这样ovsdb和ovs-switchd进程都启动了,就可以执行ovs命令了。
建立一个虚拟网桥用于和qemu前端进行socket通信。

ovs-vsctl add-br br0 -- set bridge br0 datapath_type=netdev

ovs-vsctl add-port br0 vhost-user-1 -- set Interface vhost-user-1 type=dpdkvhostuserclient options:vhost-server-path="/tmp/sock0"

这步可能有各种错误,耐心找下都是什么原因,大多数都是和内存有关,比如第一次有可能因为未来得及分配内存建立端口时候不成功,删除了这个端口再建一次

建立网桥和端口有没有成功,可以用ovs-vsctl show命令查看,正确的状态如下:

d9fd8d79-b6c0-4f13-8369-4755085471ba

   Bridge "br0"

       Port "br0"

           Interface "br0"

               type: internal

       Port "vhost-user-1"

           Interface "vhost-user-1"

               type: dpdkvhostuserclient

               options: {vhost-server-path="/tmp/sock0"}

至此,后端驱动vhost以及它之上的交换机已经启动了,处于等待状态。(但是qemu 2.7以上才支持重连功能)

4.再来安装qemu

先安装依赖项:

sudo apt-get install zlib1g-dev
sudo apt-get install libglib2.0-dev
sudo apt-get install libncurses5-dev
sudo apt-get install libpixman-1-dev

qemu安装比较简单,直接configure、make、make install即可。
创建镜像,必须要qcow2格式:

qemu-img create -f qcow2 virtual.img 20G

安装虚拟机,设置了端口50,可以用VNC远处连接虚拟机:

qemu-system-x86_64 -m 2048 --enable-kvm -boot d -hda /var/iso/virtual.img -cdrom /var/iso/ubuntu-16.04.2-desktop-amd64.iso -vnc 0.0.0.0:50

下载一个VNC软件,像tightVNC,就可以输入"主机ip:50"来连接该虚拟机,然后进入安装流程,安装完毕后退出。

使用vhost-user作为网络接口,启动虚拟机:

qemu-system-x86_64 -machine accel=kvm -cpu host -smp sockets=2,cores=2,threads=2 -m 2048M -object memory-backend-file,id=mem,size=2048M,mem-path=/dev/hugepages,share=on -drive file=/var/iso/virtual.img -drive file=/opt/share.img,if=virtio -mem-prealloc -numa node,memdev=mem -vnc 0.0.0.0:50 --enable-kvm -chardev socket,id=char1,path=/tmp/sock0,server -netdev type=vhost-user,id=mynet1,chardev=char1,vhostforce -device virtio-net-pci,netdev=mynet1,id=net1,mac=00:00:00:00:00:01

虚拟机启动,vhost的前后端驱动也已连接。此时在/var/log/syslog中也能看到DPDK输出的日志信息,读取了前端qemu的内存布局。这样一个vhost-user环境就已经搭起来了,可以用TightVNC远程连接这个虚拟机了。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,539评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,911评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,337评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,723评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,795评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,762评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,742评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,508评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,954评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,247评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,404评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,104评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,736评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,352评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,557评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,371评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,292评论 2 352

推荐阅读更多精彩内容