热迁移、RTC 计时与安全增强…腾讯云 KVM 性能优化实践经验谈

嘉宾介绍:肖光荣,腾讯云开源团队负责人,操作系统专家。肖光荣在Linux内核、KVM社区工作近十年,是Ftrace, MM, Networking等子系统的活跃贡献者。近几年主要工作在虚拟化领域,是KVM的核心开发者,Virtual NVDIMM子系统的维护者。肖光荣向社区提交了大量Patch,在华人内核贡献者中排名Top 15,在内核和KVM社区拥有巨大影响力。

写在前面

前不久,KVM Forum 大会发布了 2017 年最新 KVM 开源贡献榜,腾讯云因其向 KVM 内核贡献了 46 个 patch,成为全球唯一一家上榜的公有云厂商。据了解,这些补丁大多是腾讯云在实战过程中的经验总结,主要用于改善和解决 KVM 虚拟机在热迁移,时钟计时、嵌套虚拟化等方面的使用问题以及修复一些安全漏洞。

在开源的所有 patch 里,比较引人注目的是,腾讯云率先采用快速写保护、共享脏页位图、优化热迁移块大小等一系列方式,优化热迁移效率以及提升热迁移成功率。那么,它的虚拟机热迁移过程和具体方法是什么?腾讯云又如何看待 KVM 技术开源?KVM 现在面临着哪些新的挑战?带着这些问题,InfoQ 采访了腾讯云高级工程师肖光荣,就腾讯云的 KVM 开源技术与开源思路做了简单交流。

Q:简单阐述一下 KVM 虚拟化技术以及 KVM 和云计算的关系?

肖光荣: KVM 是 Kernel-based Virtual Machine 的简称,KVM 要求 CPU 支持硬件虚拟化技术(如 intel VT 或 AMD-V),是 Linux 下的全虚拟化解决方案。KVM 由处于内核态的KVM模块和用户态的 QEMU 两部分构成。内核模块实现了 CPU 和内存虚拟化等决定关键性能和核心安全的功能并向用户空间提供了使用这些功能的接口,QEMU利用KVM模块提供的接口来实现设备模拟、 IO 虚拟化和网络虚拟化等。单个虚拟机是宿主机上的一个普通 QEMU 进程,虚拟机中的 CPU 核(vCPU)是 QEMU 的一个线程,VM 的物理地址空间是 QEMU 的虚拟地址空间(图 1)。

vCPU 线程经过KVM模块提供的系统调用进入到宿主机内核态,在内核态切换到CPU的非根模式,即 guest 模式,此时虚拟机内的 CPU 获得宿主机 CPU 资源,得以执行。在 guest 模式中,遇到敏感指令无法直接执行,或者有特定的内部异常和外部中断产生,vCPU 会退出到根模式由 KVM 内核或 QEMU 来模拟执行(图 2)。

KVM 虚拟化技术是当前云计算中计算虚拟化的主流技术,是云计算的核心底层能力,使用 KVM 把多台物理机虚拟化后,组成一个大的虚拟资源池,方便用户从资源池中按需分配计算能力,提升资源的使用效率,同时保证多用户资源之间的隔离性、安全性。

Q: 腾讯云此次向 KVM 社区贡献的 46 个 patch 主要解决了哪些问题?

肖光荣:这 46 个 patch 是我们在实战过程中的经验总结,用于改善和解决 KVM 虚拟机在实际运营过程中遇到的一些问题,这些Patch主要应用在以下三个方面:

  • 时钟方面重构 KVM 的 RTC 计时框架。让 windows 虚拟机的时钟系统在时钟频率频繁调整的情况下保持精准。重构 KVM LAPIC Timer 的模式切换和频率调整的模拟,使其完全与硬件行为保持一致。优化 KVM LAPIC Timer 时钟中断注入的延迟。发现并解决了使用硬件辅助的 VMX Preemption Timer 模拟的 KVM LAPIC Timer 时的各种抢占问题。
  • 嵌套虚拟化方面重构异常注入的逻辑。解决了嵌套虚拟化下异常丢失的问题。添加异步缺页异常 (Async Page Fault) 在嵌套虚拟化下的支持。这些问题的解决,使得嵌套虚拟化更加稳定和高效,可以让更多的用户在不导镜像的情况下,将业务迁移上云。
  • 修复 KVM 将宿主机信息外泄的问题。修复KVM在模拟CPUID指令和处理虚拟机设备访问时,意外地将宿主机上的内存泄露到虚拟机。

Q:腾讯云在虚拟机热迁移技术上有比较明显的突破,能否讲解一下虚拟机的迁移过程以及腾讯云如何提升热迁移性能?

肖光荣:虚拟机热迁移是一项非常重要的技术,热迁移可以在用户几乎无感知的情况下将虚拟机从当前宿主机迁到另外的宿主机,热迁移主要用于解决一些软硬件不可逆场景下的虚拟机可用性问题,如:宿主机硬件批次性隐患、宿主机内核内存泄漏等。腾讯云内部大量地使用热迁移来提升虚拟机的可用性,从近一年的统计数据来看,已经做到虚拟机的可用性大于物理机。

虚拟机的热迁移主要有下面几步:

  1. 在目标宿主机上准备虚拟机运行环境,如挂载共享存储,创建虚拟网络等;
  2. 从源宿主机建立到目标宿主机的连接,用于传输虚拟机的状态,比如内存;
  3. 源端需要捕捉内存的更改并记录在内存传输过程中有哪些页面被改动,这些脏页需要在下一轮迭代中继续传输;
  4. 传输全量内存;
  5. 本轮内存传输完毕后,如果剩下的脏页数量能在设定的停机时间内传输完毕,那么将虚拟机停机,否则继续传输脏内存,直到脏内存的量收敛到可以在预定时间内传输完成为止;
  6. 传输余下的脏内存,以及停机时 CPU 寄存器和各个子系统的状态;
  7. 此时源端和目标端的虚拟机状态完全一致,在目标端让虚拟机恢复运行,迁移完毕。

如上所述,源端需要去捕获内存的更改,在当前的环境下是采用写保护和脏页位图的方法,即先把内存全部变为只读,在虚拟机写内存时就会产生异常被KVM内核模块捕获并且记录到脏页位图,该脏页位图最后被复制到QEMU,据此QEMU能知道哪些内存被更改。

对于脏页内存的捕获,我们主要通过两大方式提升热迁移效率:1)采用快速写保护算法,该算法是无锁的并且算法复杂度为 O(1),这就意味着它的性能与虚拟机的内存大小和工作负载无关。2)采用KVM内核模块和QEMU共享脏页位图的方法,实现零拷贝以及减少用户态和内核态的上下文切换。

另外在迁移脏块的时候,针对子机内部 IO 性能下降的问题,优化热迁移块大小,避免传输无用数据,提升热迁移成功率。当然,腾讯云还有很多其他提升热迁移性能和稳定性的优化方法,在此就不一一列举了。

Q:腾讯云如何看待云厂商们对 KVM 开源的贡献和支持问题?

肖光荣:腾讯云一直秉承开放,共享的心态参与开源,凭借庞大的用户群和 KVM 集群规模,腾讯云在 KVM 虚拟化上做了深入的研究和丰富的实践。腾讯云自 2017 年 5 月加入 Linux 基金会以来,更加大了回馈社区的力度。在 KVM 内核领域,已经是贡献度最高的公有云厂商。

过去,大型开源项目一直鲜见中国大型企业的身影,所以开源界一直诟病中国企业只索取不贡献,作为公有云的一线厂商,我们希望通过实际行动转变开源界的看法。

当前 KVM 虚拟化技术是各家云厂商使用的主流虚拟化技术,腾讯云有一个专门负责做开源的团队,该团队一方面将持续创新以来解决腾讯云线上遇到的各种挑战并且将产出反馈给社区,另一方面探索云计算领域的新技术,做好前沿技术的预演和积累。同时我们也希望各大云厂商加大对 KVM 项目的投入,积极参与到社区,共同应对新硬件,新架构给 KVM 带来的挑战。

Q:KVM 技术现在面临着哪些新的挑战?

肖光荣:一方面,Intel 不断推出新 CPU 架构:haswell、broadwell、skylake 到 cascadelake,网络带宽从 10G 到 25G 再到 100G,更新的硬件架构,更高的网络带宽需要更高效的虚拟化才能将硬件的性能充分发挥。另一方面,GPU、FPGA 在 KVM 上的虚拟化、池化有待突破,否则 GPU、FPGA 的整体利用率无法提升。虚拟机网络性能一直是虚拟化的短板,利用智能网卡等技术可以将网络性能做到和物理机旗鼓相当,但同时也让热迁移变得困难。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CSDN技术头条

ContainerX 推进Docker企业级应用

在过去的一年里, 容器推动软件领域发生了翻天覆地的变化。随着Docker逐渐普及,作为运行和加速云应用的操作系统(OS)虚拟化技术,容器已经催生了一个包含开源容...

2187
来自专栏云计算爱好者

云计算与虚拟化技术的关系

云计算只是概念,而不是具体技术。虚拟化是一种具体技术,指把硬件资源虚拟化,实现隔离性、可扩展性、安全性、资源可充分利用等特点的产品。但看似不相关...

5009
来自专栏SDNLAB

我们能否简化虚拟机去匹配容器?

虽然业内一致认为短期之内容器无法取代虚拟机,但是人们正在考虑这件事。上周的OpenStack Silicon Valley (OSSV)上 Canonical ...

3304
来自专栏大魏分享(微信公众号:david-share)

五板斧-帮助企业敲开IT转型之门

当前,随着第三平台的到来和互联网行业的冲击,传统行业的IT系统都面临着转型的压力。而在转型过程中,继续使用封闭的IT系统显然是逆势而为。实际上,无论从全球IT发...

3095
来自专栏SDNLAB

OpenStack发布第16个版本Pike,关注基础设施可组合性

业界领先的开源云计算项目OpenStack周四发布了第16个版本Pike,新版本并没有增加太多的新功能,而是专注于改进基础设施,Pike版本的核心主题是各种研发...

3609
来自专栏人称T客

VMware未来走向何方? 跨界服务器市场 软硬一体已成所有IT巨头标配战略

为了从软件定义数据中心迈向软件定义企业的目标,VMware揭露了正在进行的三大新战略。包括了拥抱竞争对手OpenStack来强化混合云架构,并和潜在对手轻量级虚...

3776
来自专栏IT大咖说

云计算的下一个时代——“容器时代”

摘要 随着容器技术的发展,容器成为了目前最受欢迎和关注的项目。京东在容器的实践过程中,结合虚拟机,对容器技术做了优化和改进,他们是怎么做的? ? 容器趋势分析 ...

4869
来自专栏SDNLAB

【技术专栏】大话Docker系列:我们为什么需要Docker

轻量级虚拟化容器Docker1.0正式版自发布半年以来,已经受到开源界的极大追捧和企业界的密切关注。在国外CloudOpen大会上投票显示Docker是仅次于O...

2524
来自专栏云计算D1net

云计算容器安全性知多少

随着Docker的崛起,Linux LXC以及其他的容器供应商已经多次提出了云计算容器技术对于企业应用是否具有足够安全性的问题。 当然,这项新技术比传统基于管理...

4384
来自专栏SDNLAB

进击的Docker网络

Docker容器近来几乎在IT行业的所有领域频频出现,网络领域也不例外。在2016 DockerCon大会上,Docker公司以及其合作伙伴正在采取措施,让Do...

3295

扫码关注云+社区

领取腾讯云代金券