专栏首页社区的朋友们Qemu-KVM 网络性能优化实践
原创

Qemu-KVM 网络性能优化实践

作者:赵星

背景

在做优化之前,腾讯云上使用的母机单队列,性能只有14w pps。

已有的多队列版本,在20w+ pps左右,不是很理想。

主要问题性能

1 . 单队列成为性能瓶颈

物理主机环境,使用多队列已经有多年。

而在公有云上,虚拟化的virtio-net长期使用的多队列。

有如下原因:

  • 早期的qemu-kvm版本只支持单队列。
  • 为了稳定性,友商如阿里云,virtio-net的网卡到2016年底,仍然是单队列。

2 . 多队列性能并不理想

引入网卡多队列,目的是充分利用SMP处理器的性能。

在物理母机上,多队列性能提升非常明显。

但是在虚拟机上,性能却没有得到明显提升。

已有的kvm-2.0版本,当时是20w pps左右,单队列能到14w pps。

Qemu-kvm多队列原理

上图是多队列的示意图。

和物理机上的多队列类似。

一个virtio-net的队列,对应一个虚拟cpu。

这样,避免了多个虚拟cpu使用同一个队列带来的竞争问题。

性能优化实践

云上Overlay网络的实现

腾讯云网络使用了overlay网络技术。

在用户看来,每个用户都是一个独立的网络,相互隔离。

具体实现如下:

由上图可见,数据包的流程为

  • 虚拟机向外发包,经过virtio-net网卡驱动外发(virtio-net前端)
  • Qemu实现的tun口(内核态)收到包后,交给网桥
  • 网桥上数据包会被VPC截获,实现overlay网络功能
  • 数据包经过处理后,交给GRE口,进行overlay封装
  • Gre口调用物理口的发包函数进行发送。

进来虚拟机方向的数据包处理流程相应反转即可。

初步分析

从上图可以看出,数据包是经过了一条较长的路径,最终从物理口发送出去。

其中每一个流程都是可以成为瓶颈。

于是,我们做了第一步,让虚拟机支持多队列。

虚拟机多队列的选择

两个方案:

  • 升级kvm-2.0
  • 在kvm-1.0上移植母机多队列

最终,我们选择了移植的方案,理由如下:

  • 腾讯云的物理服务器基本上都是kvm-1.0版本,这个版本是不支持多队列的。
  • 有kvm-2.0版本,但多队列性能提升并不明显。
  • 在kvm-1.0上,我们已经做了大量的工作,也经过了长期运营的检验。

多队列功能的移植

移植涉及到了qemu-kvm虚拟化的所有核心组件:qemu,libvirt,Linux内核。

移植过程的主要问题:

  • Patch非常多,Linux内核20+个patch,qemu 20+patch,libvirt patch相对少一点。
  • 要兼容旧的qemu和内核。三个组件存在混合部署的情况。
  • 热迁移要实现兼容。

最终,和yunfangtai一起,通过谨慎小心的移植,这些目标都实现了。

还有单队列性能瓶颈

多队列移植后,理论上也只能达到kvm-2.0的性能水平。实测也是如此,在20w pps左右。

当时业界Google的性能能达到40w pps。我们只有20w pps。

这其中存在着很大的提升空间。

Vpc overlay基本不配置规则的情况下,性能损失约10%。不是主要矛盾。

通过内核perf工具和流程分析,发现耗在spin_lock的cpu特别高。

主要是在dev_queue_xmit中加锁消耗的。

分析vpc的代码,发现GRE口实现,还是一个单队列网卡。

前面的并发处理,到了GRE口变成了独木桥,性能损失明显。

还是并发瓶颈

将vpc中的GRE虚拟口实现改为多队列之后,性能仍然没有太大的提升。

通过perf采样发现,spin_lock占用的cpu仍然很高,是最可疑的瓶颈点。

分析内核代码流程,最有可能的还是dev_queue_xmit中的队列锁。

这里存在这样一种情况,虚拟机选择队列后,经过一层层选择,最终到物理队列时,会有多个虚拟队列选中同一个物理网卡队列的情况。

问题基本定位清楚,需要做如下修改:

  • 虚拟机virtio-net后端的tun实现,要保持虚拟机选的队列。
  • Vpc中的gre口实现,不能修改队列映射关系
  • 物理口发包时,要保持映射关系不变。
  • 同时,多个虚拟机,要保证尽可能利用不同的物理队列,避免相互干扰。

以上修改做完后,性能有了明显提升,达到了业界第一梯队Google GCE的水平。实现了本身的突破。

其他优化

  • Qemu自身队列长度限制位256,修改为1024,在大流量下减少丢包。
  • 后端tun网卡队列长度优化。

展望

Virtio-net的性能优化,按目前的vhost-kernel框架下,潜力已经很小。

后续方向:

  • 硬件offload方案

如智能网卡方案,将vpc部分逻辑offload到服务器之外的设备上。

  • Dpdk+vhost-user方案

提升母机发包引擎的性能,同时poll mode能减少虚拟机发包的负担。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • protobuffer 编解码原理

    protobuf 在 RPC、数据存储、配置化等方面都有很广泛的应用,究其原因在于其时间和空间上的高效、易扩展等特性,本文从原理上来揭示其高效的原因。

    serena
  • 传统零售企业的逆袭: Target 与 DevOps 的美妙邂逅

    本文总结自Heather Mickman在DOES14, DOES15, DOES16连续三年做的DevOps转型主题演讲。

    serena
  • 机器学习概念总结笔记(二)

    logistic回归又称logistic回归分析,是一种广义的线性回归分析模型,常用于数据挖掘,疾病自动诊断,经济预测等领域。例如,探讨引发疾病的危险因素,并根...

    serena
  • Java数据结构和算法(五)——队列

      前面一篇博客我们讲解了并不像数组一样完全作为存储数据功能,而是作为构思算法的辅助工具的数据结构——栈,本篇博客我们介绍另外一个这样的工具——队列。栈是后进先...

    IT可乐
  • 前端中的数据结构——队列篇

    队列是数据结构中的一种,它与实际生活中的排队相似:在一条队伍中,先来的人总是能够先得到服务,后来的人只能排在队伍末尾等候。队列也是一样,它符合先进先出 FIFO...

    企鹅号小编
  • 三分钟基础:什么是队列?

    像线程池、异步队列、消息队列等有限的资源容器中,往往存储大量的任务事件,这些大量的任务事件需要进行有条理的进行任务分发以及各种情况处理,为了能够使得资源容器的正...

    帅地
  • AI_第一部分 数据结构与算法(8.队列)

    第四阶段我们进行深度学习(AI),本部分(第一部分)主要是对底层的数据结构与算法部分进行详尽的讲解,通过本部分的学习主要达到以下两方面的效果:

    还是牛6504957
  • 算法与数据结构(二) 栈与队列的线性和链式表示(Swift版)

    数据结构中的栈与队列还是经常使用的,栈与队列其实就是线性表的一种应用。因为线性队列分为顺序存储和链式存储,所以栈可以分为链栈和顺序栈,队列也可分为顺序队列和链队...

    lizelu
  • 【数据结构(C语言版)系列三】 队列

    队列是一种先进先出的线性表,它只允许在表的一端进行插入,而在另一端删除元素。这和我们日常生活中的排队是一致的,最早进入队列的元素最早离开。在队列中,允许插入的一...

    闪电gogogo
  • Java队列学习第一篇之列介绍

    队列大家都知道,但是在Java中队列分哪几种呢?清楚吗?都有哪些地方用到了队列呢?最常用的场景的就是消息中间件,比如各种MQ都是使用的队列来的。如果没有用过消息...

    凯哥Java

扫码关注云+社区

领取腾讯云代金券