KVM介绍
KVM (Kernel Virtual Machine) 是Linux Kernel的一个模块。另外还有一个用户空间的工具QEMU来控制KVM去创建、配置和管理Virtual Machine (VM)。
内存虚拟化是KVM实现的重要模块，通过它可以实现两个目的：
- 提供VM的内存视图，即为Guest OS提供连续的地址空间。例如通过QEMU创建一个有256Mbytes的VM, 那么Guest OS认为物理内存的物理地址空间为0 - 0x1000 0000.
- KVM来分配和管理实际的物理内存。内存的分配、回收、换出等都采用Linux原有的机制，不需要为KVM单独开发。Host OS为VM分配物理页面和普通进程一样，仍然遵循用时分配的原则。
Key Acronyms
GVA - guest virtual address
GPA - guest physical address
HVA - host virtual address
HPA - host physical address
内存虚拟化的一个重要工作就是处理这几个地址之间的转换关系
两种实现
目前KVM主要支持两种实现方法：
传统方案影子页表 (Shadow Page Table)
Guest OS维护的页表负责GVA到GPA的转换，而KVM会维护另外一套影子页表负责GVA到HPA的转换。真正被加载到物理MMU中的页表是影子页表。
在多进程Guest OS中，每个进程有一套页表，进程切换时也需要切换页表，这个时候就需要清空整个TLB，使所有影子页表的内容无效。但是某些影子页表的内容可能很快就会被再次用到，而重建影子页表是一项十分耗时的工作，因此又需要缓存影子页表。
缺点: 实现复杂，还需要考虑影子页表的同步；缓存影子页表的内存开销大。
硬件辅助方案
先介绍Freescale PowerPC e6500提供的硬件支持
- 新增一个状态MSR[GS]，用来区分当前是在Host状态（Hypervisor）还是Guest状态；
LPIDR register，KVM在创建VM时会分配一个唯一的ID，当该VM运行时会将该ID写入LPIDR register
TLB上新增两个字段TGS和TLPID，分别用来匹配MSR[GS]和LPIDR，也就是说MMU在进行地址翻译时可以直接将虚拟机的虚拟地址GVA翻译到真实的物理地址HPA
问题来了，既然MMU能直接将GVA翻译为HPA，那么TLB中一定存储的是GVA–>HPA的对应关系，但是VM上的Guest OS只能看到GPA，因此tlb miss异常处理程序在重填TLB写入的只能是GVA–>GPA。如何将GVA和HPA对应起来就需要Hypervisor也就是KVM和QEMU的介入了。
Hypervisor介入的关键流程
1.VM上的tlb miss异常处理程序在执行tlbwe时陷入到Hypervisor中（很像异常的跳转啊）
2.KVM根据GPA查找到HVA，然后kernel为HVA分配物理页面
3.更新QEMU进程的页表HVA–>HPA
4.将GVA–>HPA写入TLB
5.返回到VM中继续执行，VM的tlb miss异常处理完成
这个实现的问题在于每次VM写tlb时都需要陷入到Hypervisor中处理，所以e6500提供了一个硬件表LRAT来缓存GPA–>HPA，当VM上执行tlbwe时处理器先在LRAT中查找GPA，如果能找到就自动将GPA替换为HPA后写入TLB，如果LRAT miss就再陷入到Hypervisor。
相关代码
在创建VM的初始化阶段，QEMU需要做的有两方面工作：
- QEMU根据VM的物理内存大小（-m参数）申请一段QEMU的虚拟地址空间(HVA)
ppc500_init()
memory_region_init_ram(ram, "mpc8544ds.ram", ram_size)
qemu_ram_alloc(size, mr)
posix_memalign(&ptr, alignment, size); /* 类似malloc */
- QEMU向KVM注册用户态内存空间
memory_region_add_subregion(address_space_mem, ram->ram_addr, ram)
kvm_set_phys_mem()
kvm_set_user_memory_region()
kvm_vm_ioctl( KVM_SET_USER_MEMORY_REGION )
由KVM来记录这段虚拟地址空间，即维护了GPA到HVA的对应关系
case KVM_SET_USER_MEMORY_REGION:
kvm_vm_ioctl_set_memory_region()
__kvm_set_memory_region()
例如创建一个256Mbytes内存的VM，那么QEMU进程会先申请一块256Mbytes的虚拟内存（eg. HVA：0x4930 0000 - 0x5930 0000），它对应这个VM的物理内存（GPA：0 - 0x1000 0000）；然后QEMU将这一组（GPA, HVA, size）通过ioctl注册到KVM中，KVM会维护一个kvm_memory_slot数组来记录GPA到HVA的对应关系。
struct kvm_memory_slot {
gfn_t base_gfn;
unsigned long npages;
unsigned long flags;
unsigned long *dirty_bitmap;
struct kvm_arch_memory_slot arch;
unsigned long userspace_addr;
int user_alloc;
int id;
};
struct kvm_memslots {
int nmemslots;
struct kvm_memory_slot memslots [KVM_MEMORY_SLOTS + KVM_PRIVATE_MEM_SLOTS];
};
当LRAT miss发生时：
- Hypervisor的异常处理程序根据GPA在kvm_memslots数组中查找到HVA；
- 然后调用内核的接口get_user_pages申请物理页面获得HPA，这个接口同时会更新进程的页表（这也遵循了Linux一贯的原则，和应用程序申请内存一样，都是先分配虚拟地址空间，到真正使用的时候在异常处理程序中分配真正的物理页面）；
- 将entry (LPID, GPA, HPA, size, …)写入LRAT
.text
.balign 0x1000
.globl interrupt_base_book3e
interrupt_base_book3e: /* fake trap */
EXCEPTION_STUB(0x000, machine_check) /* 0x0200 */
EXCEPTION_STUB(0x020, critical_input) /* 0x0580 */
……
EXCEPTION_STUB(0x300, hypercall)
EXCEPTION_STUB(0x320, ehpriv)
EXCEPTION_STUB(0x340, lrat_error)`
exc_lrat_error_book3e
kvmppc_handler_44_0x01B
kvmppc_resume_host
kvmppc_handle_exit
case BOOKE_INTERRUPT_LRAT_ERROR:
kvmppc_lrat_map
gfn_to_pfn_memslot
get_user_pages /* 真正分配物理页面的地方 */
write_host_lrate
Conclusion
- GVA到GPA的映射关系由Guest OS通过页表来维护；
- GPA到HVA的映射关系由KVM通过Memory Slot数组来维护；
- HVA到HPA的映射关系由Hypervisor OS的页表来维护 ；
- GPA到HPA的映射关系由Hypervisor根据2和3计算出并写入LRAT；
X86架构的内存虚拟化是通过Extended Page Table(EPT)来实现的，其原理和基本流程都一样，只不过X86始终围绕着页表，而PowerPC和MIPS则围绕着TLB。X86上内存虚拟化以及EPT请参考http://royluo.org/2016/03/13/kvm-mmu-virtualization/
