腾讯云超高网络性能云主机揭秘

随着机器学习,网络游戏,电商抢购等应用的大规模爆发,公有云用户对虚机网络性能要求迅速提高。腾讯云推出网络优化型实例,实现最高450w PPS的虚机网络转发性能以及多达25Gbps的网络吞吐性能,网络延时大大降低。既可以满足用户高速计算的需求,也让用户能够在虚拟化网络中得到媲美物理机的性能体验。

那么腾讯云网络优化型实例是如何做到这一性能的呢?

▲常见虚拟网络的实现

上图描述了基于KVM的传统虚拟化网络的实现,从图中我们可以看到,云服务器外发数据包需要经过KVM、QEMU、TAP、vSwitch等组件的处理,需要经过多次上下文切换,整个路径很长,与物理服务器相比,这里存在明显的性能瓶颈。主要原因在于在虚拟化环境中,网络边界发生了变化,网卡从真实硬件变成了软件模拟,边界交换设备也从硬件交换机变成了软件vSwitch。这些软件模拟工作绝大部分都在宿主机Linux内核来完成。然而Linux内核协议栈设计的目标不在于高性能报文处理,而是通用灵活。在虚拟化环境下,继续使用内核协议栈作为报文交换中心,性能难免捉襟见肘。

为了解决这个问题,腾讯云引入智能网卡和DPDK两种专用高性能报文处理平台。

DPDK是一种用户态高性能报文处理平台,相对于Linux内核,它通过以下手段来优化报文处理性能:

  • 轮询模式收包,降低中断上下文切换开销。
  • 使用hugepage并且预分配内存,减少tlb miss和缺页中断导致的延迟抖动。
  • 不依赖任何系统调用,消除用户态/内核态切换开销。
  • 通过良好设计,可以实现进程间无锁,总体性能随进程数目线性增长。
  • 使用过程中一般会运行在隔离cpu上,降低进程调度对dpdk的影响。

通过以上技术,dpdk可以实现10倍以上于Linux内核的报文收发性能。

智能网卡是一种新型网卡硬件,相比于普通网卡,它主要智能在以下几个方面:

  • 更出色的SR-IOV性能,可以虚拟出更多的VF分配给虚机使用。
  • 让云服务器可以直接使用高性能物理网卡硬件,无需将数据包绕行到母机网卡。
  • 智能网卡具有各种硬件加速功能,包括数据包硬件解析,校验和offload,流量控制,网络安全加速等。
  • 智能网卡本身是可编程的,可以灵活实现各类vSwitch逻辑,避免了宿主机服务器的资源消耗。

既然DPDK和智能网卡能达到如此高的性能,那为什么之前没有见到在公有云中使用呢?

究其原因,是因为这两个平台开发难度比较大。传统的vSwitch一般在内核实现,依赖各种开源软件以及内核框架,但DPDK及智能网卡仅仅提供了收发包接口,所有高级功能都需要自行实现。如果软件架构设计不好,很可能将内核中影响性能的问题再次引入新平台,而无法充分发挥平台优势。因此针对新平台的vSwitch设计对软件开发人员提出了很大挑战。

为了解决这个问题,腾讯云将vSwitch拆分成快速路径和慢速路径。慢速路径负责连接首包的路由/ACL/安全组等规则执行,快速路径负责连接后续包的快速处理。通过分离式架构设计,腾讯云实现了最高450w PPS的网络转发性能以及多达25Gbps的网络带宽,网络延时大大降低,实现接近物理网卡的网络延时。同时,保持了已有的VPC网络的用户体验的一致性。

这样,传统虚拟化网络的实现方案的瓶颈在网络优化型实例得到完美的解决,在网络收发包性能上、内网带宽、网络时延上都得到了较大的提升。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏云加头条

简约而不简单——大众点评+小程序开发经验谈

大众点评工程师作为特邀用户,大众点评早在小程序内测阶段就开始了产品的设计和研发,「大众点评+」也理所当然成为 1 月 9 号小程序上线后的首批应用之一,并在上线...

4.4K3
来自专栏CreateAMind

240页ppt+视频详解谷歌tensorflow并行训练

872
来自专栏程序人生

产品解析:Github Atom

昨天github通知我可以开始试用atom了。惊喜之余,立刻开始体验。 Atom是什么 Atom是github内部的编辑软件,据说已经使用了6年之久。按照ato...

3448
来自专栏鬼谷君

运维开发思路

1565
来自专栏LiveEdu在线科技教育平台

LiveEdu 项目创建流程优化指南

LiveEdu的中文项目创建者计划正在进行中。这份指南会帮助您用更短的时间创造出高质量的 LiveEdu 项目。

1463
来自专栏WebHub

linux 下office软件推荐

最近要写毕业设计,很坑爹的是毕业设计一定要用office软件,都不知道为什么不能用markdown,学校真的像个婊子,在这破学校没有学到什么东西,还他妈的天天立...

4673
来自专栏知晓程序

支持多人同时编辑文档,这个小程序有点酷!

小程序体验师:陈丹阳 凡是用过 Google Docs 的人,大约都很难适应再去用 Office 办公。

1101
来自专栏互联网杂技

如何利用动效提升用户体验

如何利用动效提升用户体验 动画可以讲述故事。不是很长很复杂而是很简单的故事,而像是 "嘿,你现在要看看这个!" 或 "哇,你竞争成功了!"。然而,动效的目的不...

28012
来自专栏携程技术中心

携程2015 Open House获奖项目:响应式的蜕变

响应式的蜕变 Ctrip Tech 本文不再从最基本的语法开始行文,而在列举一些最基本的信息之后,开始探讨传统响应式设计的问题,与在实践当中思考出来的改进方法,...

1939
来自专栏IT派

没有 Python,微软宣布 Excel 新增 JavaScript 支持

去年年底曾有外媒报道,由于社区用户的强烈要求,微软正考虑添加 Python 作为官方的一种 Excel 脚本语言。不过在昨天的 Build 2018 开发者大会...

682

扫码关注云+社区