测试环境
使用物理机搭建的虚拟化系统，创建一台虚拟机，规格为64核心+64G内存+100G硬盘，对该虚拟机进行热迁移测试。
虚拟机内安装stressapptest工具，用于对虚拟机的CPU和内存进行压力测试。
该工具命令行支持的参数有：
-M mbytes：测试内存的大小。
-s seconds：运行时长。
-m threads：运行的线程数量。
测试命令为：
1
virsh migrate instance-00000092 qemu+ssh://nova@173.20.6.3/system?keyfile=/var/lib/nova/.ssh/id_rsa --live --verbose --compressed --auto-converge --auto-converge-initial 20 --auto-converge-increment 10
auto-converge功能支持配置以下参数：
auto-converge-initial：初始抑制CPU频率的比例。
auto-converge-increment：CPU频率抑制比例的增量。
进行两组测试。在虚拟机内运行stressapptest工具，测试以上两个参数取不同数值，对于热迁移的影响。
虚拟机内部执行stressapptest -s 300 -M 40960 -m 64 -W，即测试40G内存、运行64个线程、运行300秒。热迁移结果如下表：
以上测试，全部在stressapptest进程结束后才开始抑制CPU。
虚拟机内部执行stressapptest -s 1800 -M 40960 -m 64 -W，即测试40G内存、运行64个线程、运行1800秒。热迁移结果如下表：
以上测试，全部在stressapptest进程结束前就开始抑制CPU。
使用virsh命令行迁移虚拟机，post-copy功能需要通过两步操作完成：
热迁移时，指定--postcopy参数用于启用post-copy。
1
virsh migrate instance-00000092 qemu+ssh://nova@173.20.6.3/system?keyfile=/var/lib/nova/.ssh/id_rsa --live --verbose --compressed --postcopy
此时热迁移处于pre-copy模式，需要通过virsh migrate-postcopy instance-00000092切换到post-copy模式。
进行两组测试。在虚拟机内运行stressapptest工具，分别测试启用、禁用post-copy对于热迁移的影响。
虚拟机内部执行stressapptest -s 300 -M 40960 -m 64 -W，即测试40G内存、运行64个线程、运行300秒。热迁移结果如下：
不开启post-copy模式，热迁移需要363872毫秒。
开启并切换到post-copy模式，热迁移需要110721毫秒。
虚拟机内部执行stressapptest -s 1800 -M 40960 -m 64 -W，即测试40G内存、运行64个线程、运行1800秒。热迁移结果如下：
不开启post-copy模式，热迁移需要1880362毫秒。
开启并切换到post-copy模式，热迁移需要123528毫秒。
虚拟机内部执行stressapptest -s 300 -M 40960 -m 64 -W，即测试40G内存、运行64个线程、运行300秒。
切换到post-copy模式，迁移过程中kill源节点虚拟机qemu进程。热迁移进程异常退出，目标节点虚拟机被删除，源节点虚拟机关机。源节点虚拟机开机后运行正常。
post-copy模式和tunnelled模式不能同时使用，具体原因可参考这篇文章。
虚拟机内部执行stressapptest -s 300 -M 40960 -m 64 -W，即测试40G内存、运行64个线程、运行300秒。
源节点打开xbzrle：
1
2
virsh qemu-monitor-command instance-00000092 --hmp "migrate_set_capability xbzrle on"
virsh qemu-monitor-command instance-00000092 --hmp "migrate_set_cache_size 64m"
迁移虚拟机到目标节点：
1
virsh migrate instance-00000092 qemu+ssh://nova@173.20.6.3/system?keyfile=/var/lib/nova/.ssh/id_rsa --live --verbose --compressed
分别测试xbzrle cache大小为64M、2G、16G、64G，对于热迁移效率的影响，结果如下：
测试中发现，在第3轮拷贝内存时，才切换到xbzrle模式。
虚拟机内部执行stressapptest -s 300 -M 40960 -m 64 -W，即测试40G内存、运行64个线程、运行300秒。
源节点打开xbzrle：
1
2
virsh qemu-monitor-command instance-00000092 --hmp "migrate_set_capability xbzrle on"
virsh qemu-monitor-command instance-00000092 --hmp "migrate_set_cache_size 64m"
迁移虚拟机到目标节点，启用auto-converge模式，参数配置为20、10：
1
virsh migrate instance-00000092 qemu+ssh://nova@173.20.6.3/system?keyfile=/var/lib/nova/.ssh/id_rsa --live --verbose --compressed --auto-converge --auto-converge-initial 20 --auto-converge-increment 10
分别测试xbzrle cache大小为64M、2G、16G、64G，对于热迁移效率的影响，结果如下：
虚拟机内部执行stressapptest -s 300 -M 40960 -m 64 -W，即测试40G内存、运行64个线程、运行300秒。
源节点打开xbzrle：
1
2
virsh qemu-monitor-command instance-00000092 --hmp "migrate_set_capability xbzrle on"
virsh qemu-monitor-command instance-00000092 --hmp "migrate_set_cache_size 64m"
迁移虚拟机到目标节点，启用并切换到post-copy模式：
1
2
virsh migrate instance-00000092 qemu+ssh://nova@173.20.6.3/system?keyfile=/var/lib/nova/.ssh/id_rsa --live --verbose --compressed --postcopy
virsh migrate-postcopy instance-00000092
分别测试xbzrle cache大小为64M、2G、16G、64G，对于热迁移效率的影响，结果如下：
xbzrle transferred均为0 kbytes，证明未使用到xbzrle。
本次测试过程中，未出现stressapptest进程崩溃，也未出现虚拟机崩溃、重启，测试过程未出现异常情况。
post-copy模式比auto-converge模式的迁移效率高。
auto-converge模式下，影响热迁移效率的因素有多种。增大auto-converge-initial、auto-converge-increment参数，能够尽早的抑制CPU频率，缩短迁移时间。除此之外，虚拟机的负载大小也影响热迁移效率。
对于虚拟机内存负载较高的场景，xbzrle模式无法有效提升热迁移的效率。
1
2
3
4
[libvirt]
live_migration_tunnelled=false
live_migration_permit_post_copy=true
live_migration_permit_auto_converge=false
live_migration_permit_post_copy和live_migration_permit_auto_converge不能同时启用。
配置为true，则使用管道模式进行热迁移。
live_migration_permit_post_copy
配置为true，则启用post-copy模式。
迁移过程中，nova会计算是否需要切换到post-copy模式。计算规则为：
1
内存拷贝进度 = （上一轮待拷贝内存总量 - 本轮待拷贝内存总量） / 上一轮待拷贝内存总量
若内存拷贝进度小于10%，则切换到post-copy模式。
热迁移过程中也可以通过执行nova live-migration-force-complete命令手动切换到post-copy模式。
live_migration_permit_auto_converge
配置为true，则使用auto-converge模式。nova不支持配置auto-converge-initial和auto-converge-increment，libvirt中对应配置的默认值为20和10。
