专栏首页云加头条腾讯云超高网络性能云主机揭秘
原创

腾讯云超高网络性能云主机揭秘

随着机器学习,网络游戏,电商抢购等应用的大规模爆发,公有云用户对虚机网络性能要求迅速提高。腾讯云推出网络优化型实例,实现最高450w PPS的虚机网络转发性能以及多达25Gbps的网络吞吐性能,网络延时大大降低。既可以满足用户高速计算的需求,也让用户能够在虚拟化网络中得到媲美物理机的性能体验。

那么腾讯云网络优化型实例是如何做到这一性能的呢?

▲常见虚拟网络的实现

上图描述了基于KVM的传统虚拟化网络的实现,从图中我们可以看到,云服务器外发数据包需要经过KVM、QEMU、TAP、vSwitch等组件的处理,需要经过多次上下文切换,整个路径很长,与物理服务器相比,这里存在明显的性能瓶颈。主要原因在于在虚拟化环境中,网络边界发生了变化,网卡从真实硬件变成了软件模拟,边界交换设备也从硬件交换机变成了软件vSwitch。这些软件模拟工作绝大部分都在宿主机Linux内核来完成。然而Linux内核协议栈设计的目标不在于高性能报文处理,而是通用灵活。在虚拟化环境下,继续使用内核协议栈作为报文交换中心,性能难免捉襟见肘。

为了解决这个问题,腾讯云引入智能网卡和DPDK两种专用高性能报文处理平台。

DPDK是一种用户态高性能报文处理平台,相对于Linux内核,它通过以下手段来优化报文处理性能:

  • 轮询模式收包,降低中断上下文切换开销。
  • 使用hugepage并且预分配内存,减少tlb miss和缺页中断导致的延迟抖动。
  • 不依赖任何系统调用,消除用户态/内核态切换开销。
  • 通过良好设计,可以实现进程间无锁,总体性能随进程数目线性增长。
  • 使用过程中一般会运行在隔离cpu上,降低进程调度对dpdk的影响。

通过以上技术,dpdk可以实现10倍以上于Linux内核的报文收发性能。

智能网卡是一种新型网卡硬件,相比于普通网卡,它主要智能在以下几个方面:

  • 更出色的SR-IOV性能,可以虚拟出更多的VF分配给虚机使用。
  • 让云服务器可以直接使用高性能物理网卡硬件,无需将数据包绕行到母机网卡。
  • 智能网卡具有各种硬件加速功能,包括数据包硬件解析,校验和offload,流量控制,网络安全加速等。
  • 智能网卡本身是可编程的,可以灵活实现各类vSwitch逻辑,避免了宿主机服务器的资源消耗。

既然DPDK和智能网卡能达到如此高的性能,那为什么之前没有见到在公有云中使用呢?

究其原因,是因为这两个平台开发难度比较大。传统的vSwitch一般在内核实现,依赖各种开源软件以及内核框架,但DPDK及智能网卡仅仅提供了收发包接口,所有高级功能都需要自行实现。如果软件架构设计不好,很可能将内核中影响性能的问题再次引入新平台,而无法充分发挥平台优势。因此针对新平台的vSwitch设计对软件开发人员提出了很大挑战。

为了解决这个问题,腾讯云将vSwitch拆分成快速路径和慢速路径。慢速路径负责连接首包的路由/ACL/安全组等规则执行,快速路径负责连接后续包的快速处理。通过分离式架构设计,腾讯云实现了最高450w PPS的网络转发性能以及多达25Gbps的网络带宽,网络延时大大降低,实现接近物理网卡的网络延时。同时,保持了已有的VPC网络的用户体验的一致性。

这样,传统虚拟化网络的实现方案的瓶颈在网络优化型实例得到完美的解决,在网络收发包性能上、内网带宽、网络时延上都得到了较大的提升。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 精选腾讯技术干货200+篇,云加社区全年沙龙PPT免费下载!

    “看一看”推荐模型揭秘!微信团队提出实时Look-alike算法,解决推荐系统多样性问题;

    风间琉璃
  • 17+干货议题,腾讯云原生专家集结亮相 KubeCon 2020

    腾讯云运营着国内云厂商中最大规模的容器集群,支撑游戏、微信、广告等业务的数十亿计用户。腾讯云企业级容器云平台TKE,弹性容器EKS,以及服务网格Tencent ...

    腾讯云原生
  • 12月16日腾讯云网络技术沙龙即将在深圳开启!

    自上次北京站,被众多狂热技术开发者”围追堵截”交流网络技术,众多听众仍意犹未尽,结束后难舍不去,同时其他城市开发者们也在隔空强烈召唤。

    云加社区
  • 腾讯安全月报丨0误报通过赛可达认证、DDoS威胁报告发布、CASB方案上线……

    1月,《IDC特殊研究:中国智慧城市安全运营中心市场洞察》发布,综合呈现了相关建设现状、实践成果、未来趋势及进阶建议。腾讯智慧城市安全运营中心凭借产品技术实力、...

    腾讯安全
  • 云加社区技术沙龙资料合集

    云加社区技术沙龙
  • 中秋福利 | 15个系列100+篇超实用云原生原创干货合集(内含腾讯彩蛋)

    还有2天,就要迎来中秋小长假啦 这个中秋节你打算怎么过? ? 小云选择把这篇干货全部拿下! 云原生技术干货文章合集,来咯~ ? 2021 年,要说咱们技术圈...

    腾讯云原生
  • 识别手写快递单、听懂人话的小微...腾讯云公布了哪些大动作?

    6月21日,腾讯云+未来峰会在深圳举办。在峰会现场,腾讯云发布2017年战略级新品——智能云。

    云加创业小助手
  • 直播预告 | 腾讯云 Kubernetes 高性能网络技术揭秘

    ? 云原生学院邀请腾讯云后台技术专家范建明为大家分享《腾讯云 Kubernetes 高性能网络技术揭秘》 直播信息 •讲师:范建明(腾讯云后台技术专家)•时间...

    腾讯云原生
  • 金峰:腾讯云下一代高性能网络技术突破口:超稳虚拟化平台和网关的演进

    大数据时代带来的数据流动性,对承担数据流动的网络技术带来了新挑战。11月7日,在腾讯云主办的首届Techo开发者大会现场,腾讯云对下一代高性能网络技术进行了揭秘...

    Techo
  • 磊哥测评之MongoDB篇

    上期文章我们聊到了Redis,这期我们来说说另一个网红NoSQL数据库——MongoDB。 PS:其他历史测评请直接翻到文末~ 有这么一个介绍MongoDB的...

    腾讯云数据库 TencentDB
  • 抢先 TencentOS Server 起来,你准备好了吗?

    ? 说到开源免费操作系统,您是否遇到过这些问题? 业务连续性差,难以定位故障,肿么办? 公司的机密数据,缺乏安全保障,肿么办? 硬件兼容有问题,缺...

    腾讯云计算产品团队
  • 全球数字生态大会|高速智能计算专场,邀你领略新趋势,重塑云的力量!

    9月9日~11日,腾讯全球数字生态大会将在线上举行。 作为由腾讯主办的产业互联网年度盛会,大会预测洞察数字经济发展趋势,分享云计算、大数据、人工智能等技术创新...

    腾讯云serverless团队
  • 云+社区技术沙龙第24期回顾-物联网技术与应用(文末附PPT)

    2019年7月27日,由云+社区主办的第24期云+社区技术沙龙“物联网技术及应用”,在深圳腾讯滨海大厦举行,本期沙龙邀请了腾讯云技术专家分享关于腾讯云物联网平台...

    云加社区技术沙龙
  • 重磅预告 | 腾讯云数据库即将亮相MariaDB国际大会

    2月25日-27日,MariaDB 2019年举办的年度技术顶会——THE 2019 MARIADB USER CONFERENCE,将在美国纽约盛大召开,腾...

    腾讯云数据库 TencentDB
  • 重磅 | 黑镜调查:深渊背后的真相之「DDoS威胁与黑灰产业调查报告」

    DDoS攻击经过近二十年的演变沿用至今,以其成本较低、效果显著、影响深远为攻击者所青睐。据统计,2018年最流行的DDoS攻击方式包括异军突起的反射放大攻击、S...

    FB客服
  • 重磅 | 黑镜调查:深渊背后的真相之「DDoS 威胁与黑灰产业调查报告」

    | 本文经授权转载自 FreeBuf 2018年世界杯硝烟散尽,但关于她的话题却远远没有结束。说起世界杯,就不得不提深藏其下的互联网黑灰产江湖,其中的恩怨情仇...

    云鼎实验室
  • 教育巨头VIPKID成功的背后···

    ? “技术正在驱动新教育时代来临,孩子们的学习方式、学习思维也正在被技术重塑,将释放出巨大的能量。” VIPKID  全球在线教育平台正在改变着一代人的学习方...

    腾讯智慧教育
  • 邀您参加 | 腾讯云自研数据库CynosDB技术交流会

    All in 云+时代,数据库的高可用性、按需付费、按需扩展等属性解放了大批开发者。腾讯发布的自研数据库CynosDB作为国内首款同时兼容MySQL和PG的云原...

    腾讯云数据库 TencentDB
  • 直播预告 | 腾讯Light·公益创新挑战赛决赛即将开启,5月8日不见不散!

    人类比过去面临着更为复杂和迅速的涌现:因特网、算法统治、全球经济系统......心生茫然的同时,我们得以审视人类与科技、当下与未来的关系:

    优图实验室

扫码关注云+社区

领取腾讯云代金券