热迁移、RTC 计时与安全增强…腾讯云 KVM 性能优化实践经验谈

嘉宾介绍:肖光荣,腾讯云开源团队负责人,操作系统专家。肖光荣在Linux内核、KVM社区工作近十年,是Ftrace, MM, Networking等子系统的活跃贡献者。近几年主要工作在虚拟化领域,是KVM的核心开发者,Virtual NVDIMM子系统的维护者。肖光荣向社区提交了大量Patch,在华人内核贡献者中排名Top 15,在内核和KVM社区拥有巨大影响力。

写在前面

前不久,KVM Forum 大会发布了 2017 年最新 KVM 开源贡献榜,腾讯云因其向 KVM 内核贡献了 46 个 patch,成为全球唯一一家上榜的公有云厂商。据了解,这些补丁大多是腾讯云在实战过程中的经验总结,主要用于改善和解决 KVM 虚拟机在热迁移,时钟计时、嵌套虚拟化等方面的使用问题以及修复一些安全漏洞。

在开源的所有 patch 里,比较引人注目的是,腾讯云率先采用快速写保护、共享脏页位图、优化热迁移块大小等一系列方式,优化热迁移效率以及提升热迁移成功率。那么,它的虚拟机热迁移过程和具体方法是什么?腾讯云又如何看待 KVM 技术开源?KVM 现在面临着哪些新的挑战?带着这些问题,InfoQ 采访了腾讯云高级工程师肖光荣,就腾讯云的 KVM 开源技术与开源思路做了简单交流。

Q:简单阐述一下 KVM 虚拟化技术以及 KVM 和云计算的关系?

肖光荣: KVM 是 Kernel-based Virtual Machine 的简称,KVM 要求 CPU 支持硬件虚拟化技术(如 intel VT 或 AMD-V),是 Linux 下的全虚拟化解决方案。KVM 由处于内核态的KVM模块和用户态的 QEMU 两部分构成。内核模块实现了 CPU 和内存虚拟化等决定关键性能和核心安全的功能并向用户空间提供了使用这些功能的接口,QEMU利用KVM模块提供的接口来实现设备模拟、 IO 虚拟化和网络虚拟化等。单个虚拟机是宿主机上的一个普通 QEMU 进程,虚拟机中的 CPU 核(vCPU)是 QEMU 的一个线程,VM 的物理地址空间是 QEMU 的虚拟地址空间(图 1)。

vCPU 线程经过KVM模块提供的系统调用进入到宿主机内核态,在内核态切换到CPU的非根模式,即 guest 模式,此时虚拟机内的 CPU 获得宿主机 CPU 资源,得以执行。在 guest 模式中,遇到敏感指令无法直接执行,或者有特定的内部异常和外部中断产生,vCPU 会退出到根模式由 KVM 内核或 QEMU 来模拟执行(图 2)。

KVM 虚拟化技术是当前云计算中计算虚拟化的主流技术,是云计算的核心底层能力,使用 KVM 把多台物理机虚拟化后,组成一个大的虚拟资源池,方便用户从资源池中按需分配计算能力,提升资源的使用效率,同时保证多用户资源之间的隔离性、安全性。

Q: 腾讯云此次向 KVM 社区贡献的 46 个 patch 主要解决了哪些问题?

肖光荣:这 46 个 patch 是我们在实战过程中的经验总结,用于改善和解决 KVM 虚拟机在实际运营过程中遇到的一些问题,这些Patch主要应用在以下三个方面:

  • 时钟方面重构 KVM 的 RTC 计时框架。让 windows 虚拟机的时钟系统在时钟频率频繁调整的情况下保持精准。重构 KVM LAPIC Timer 的模式切换和频率调整的模拟,使其完全与硬件行为保持一致。优化 KVM LAPIC Timer 时钟中断注入的延迟。发现并解决了使用硬件辅助的 VMX Preemption Timer 模拟的 KVM LAPIC Timer 时的各种抢占问题。
  • 嵌套虚拟化方面重构异常注入的逻辑。解决了嵌套虚拟化下异常丢失的问题。添加异步缺页异常 (Async Page Fault) 在嵌套虚拟化下的支持。这些问题的解决,使得嵌套虚拟化更加稳定和高效,可以让更多的用户在不导镜像的情况下,将业务迁移上云。
  • 修复 KVM 将宿主机信息外泄的问题。修复KVM在模拟CPUID指令和处理虚拟机设备访问时,意外地将宿主机上的内存泄露到虚拟机。

Q:腾讯云在虚拟机热迁移技术上有比较明显的突破,能否讲解一下虚拟机的迁移过程以及腾讯云如何提升热迁移性能?

肖光荣:虚拟机热迁移是一项非常重要的技术,热迁移可以在用户几乎无感知的情况下将虚拟机从当前宿主机迁到另外的宿主机,热迁移主要用于解决一些软硬件不可逆场景下的虚拟机可用性问题,如:宿主机硬件批次性隐患、宿主机内核内存泄漏等。腾讯云内部大量地使用热迁移来提升虚拟机的可用性,从近一年的统计数据来看,已经做到虚拟机的可用性大于物理机。

虚拟机的热迁移主要有下面几步:

  1. 在目标宿主机上准备虚拟机运行环境,如挂载共享存储,创建虚拟网络等;
  2. 从源宿主机建立到目标宿主机的连接,用于传输虚拟机的状态,比如内存;
  3. 源端需要捕捉内存的更改并记录在内存传输过程中有哪些页面被改动,这些脏页需要在下一轮迭代中继续传输;
  4. 传输全量内存;
  5. 本轮内存传输完毕后,如果剩下的脏页数量能在设定的停机时间内传输完毕,那么将虚拟机停机,否则继续传输脏内存,直到脏内存的量收敛到可以在预定时间内传输完成为止;
  6. 传输余下的脏内存,以及停机时 CPU 寄存器和各个子系统的状态;
  7. 此时源端和目标端的虚拟机状态完全一致,在目标端让虚拟机恢复运行,迁移完毕。

如上所述,源端需要去捕获内存的更改,在当前的环境下是采用写保护和脏页位图的方法,即先把内存全部变为只读,在虚拟机写内存时就会产生异常被KVM内核模块捕获并且记录到脏页位图,该脏页位图最后被复制到QEMU,据此QEMU能知道哪些内存被更改。

对于脏页内存的捕获,我们主要通过两大方式提升热迁移效率:1)采用快速写保护算法,该算法是无锁的并且算法复杂度为 O(1),这就意味着它的性能与虚拟机的内存大小和工作负载无关。2)采用KVM内核模块和QEMU共享脏页位图的方法,实现零拷贝以及减少用户态和内核态的上下文切换。

另外在迁移脏块的时候,针对子机内部 IO 性能下降的问题,优化热迁移块大小,避免传输无用数据,提升热迁移成功率。当然,腾讯云还有很多其他提升热迁移性能和稳定性的优化方法,在此就不一一列举了。

Q:腾讯云如何看待云厂商们对 KVM 开源的贡献和支持问题?

肖光荣:腾讯云一直秉承开放,共享的心态参与开源,凭借庞大的用户群和 KVM 集群规模,腾讯云在 KVM 虚拟化上做了深入的研究和丰富的实践。腾讯云自 2017 年 5 月加入 Linux 基金会以来,更加大了回馈社区的力度。在 KVM 内核领域,已经是贡献度最高的公有云厂商。

过去,大型开源项目一直鲜见中国大型企业的身影,所以开源界一直诟病中国企业只索取不贡献,作为公有云的一线厂商,我们希望通过实际行动转变开源界的看法。

当前 KVM 虚拟化技术是各家云厂商使用的主流虚拟化技术,腾讯云有一个专门负责做开源的团队,该团队一方面将持续创新以来解决腾讯云线上遇到的各种挑战并且将产出反馈给社区,另一方面探索云计算领域的新技术,做好前沿技术的预演和积累。同时我们也希望各大云厂商加大对 KVM 项目的投入,积极参与到社区,共同应对新硬件,新架构给 KVM 带来的挑战。

Q:KVM 技术现在面临着哪些新的挑战?

肖光荣:一方面,Intel 不断推出新 CPU 架构:haswell、broadwell、skylake 到 cascadelake,网络带宽从 10G 到 25G 再到 100G,更新的硬件架构,更高的网络带宽需要更高效的虚拟化才能将硬件的性能充分发挥。另一方面,GPU、FPGA 在 KVM 上的虚拟化、池化有待突破,否则 GPU、FPGA 的整体利用率无法提升。虚拟机网络性能一直是虚拟化的短板,利用智能网卡等技术可以将网络性能做到和物理机旗鼓相当,但同时也让热迁移变得困难。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏芋道源码1024

Redis 深度历险:核心原理与应用实践

Redis 是如今互联网技术架构中,使用最广泛的缓存。支持复杂的数据结构,支持持久化,支持主从集群,支持高可用,支持较大的value存储...

1202
来自专栏SDNLAB

数据中心从10G/40G升级到25G/100G 时的几个注意点

作者简介:郑敏先,任职于诺云信息系统(上海)有限公司,担任售前工程师。从事SDN、白盒交换机等开放网络关产品的推广工作。

1292
来自专栏SDNLAB

网络功能虚拟化系列:NFV的开源软件包

我们在之前的系列里面讨论了OPNFV(网络功能虚拟化的网络平台),主要覆盖了有关虚拟架构和相应的支持NFV(网络功能虚拟化)组织管理。本文将主要介绍组建不同虚拟...

36111
来自专栏睿哥杂货铺

SDN 技术指南(一):架构概览

软件定义网络(Software-defined networking,SDN),一种新的网络架构。SDN 提出的控制与转发平面分离、网络状态集中控制、支持软件编...

25210
来自专栏纯洁的微笑

Redis 深度历险:核心原理与应用实践

Redis 是如今互联网技术架构中,使用最广泛的缓存。支持复杂的数据结构,支持持久化,支持主从集群,支持高可用,支持较大的value存储...

952
来自专栏我是攻城师

Java 9许愿清单:请赐予我们更理想的垃圾回收机制

3395
来自专栏SDNLAB

NFV的开源软件包

本文系SDNLAB社区译者计划发布文章,SDNLAB将与国外优质媒体和个人进行长期的内容合作,带来更多的优质技术文章,本文是<<网络功能虚拟化:新兴的虚拟化...

5836
来自专栏云计算认知升级

【腾讯云的1001种玩法】十分钟轻松搞定云架构之三:更大的存储

通过本文,我们来了解下面这个四个方面:应用发展过程中不可避免的存储问题、什么是对象存储 、对象存储的优势、对象存储的最佳实践。

2869
来自专栏工科狗和生物喵

【计算机本科补全计划】NFV/SDN初识(为了避免保研复试被电话面试)

正文之前 所有的通信应用无非就是两部分组成:计算和网络。 这两者关系密不可分,但两者关系严重缺乏对称性,网络一直拖累着计算。就好像是发快递,你打个包(计算)只需...

3506
来自专栏鹅厂网事

数据中心网络中的hash问题研究

"鹅厂网事"由深圳市腾讯计算机系统有限公司技术工程事业群网络平台部运营,我们希望与业界各位志同道合的伙伴交流切磋最新的网络、服务器行业动态信息,同时分享腾讯在网...

2355

扫码关注云+社区