深度解密 | 2017天猫双11,1682亿背后的阿里绝密50+技术

引言

大家都知道,2017年双11又创造了新纪录,全天交易额1682亿,交易峰值32.5万笔/秒,支付峰值25.6W笔/秒,狂欢的背后是极其复杂庞大的技术系统。那么,这些技术在双11的狂欢中又起了什么作用呢?对大家的购物有什么影响呢?阿里云网络产品团队一一为您揭秘。

VPC-安全的网络容器

专有网络VPC(Virtual Private Cloud)是用户在云上的一个隔离,安全的网络环境,就像是用户在云上的一个私有的网络容器,这个容器和其它用户逻辑上是彻底隔离的,有了这个网络容器后,就可以在这个容器中“放置”需要的云产品和资源,比如负载均衡SLB,RDS等等。

VPC是用户在云上具备网络管理能力的基础,如选择IP地址范围、划分子网、配置网关、实现多低于私网互通以及和云下IDC的互通等,都需要依赖VPC。有了VPC后,用户就能掌控自己的网络。

公共云平台是很多用户共享的平台,双11电商核心的交易、订单、物流等都是在公共云平台上,为了保证双11交易的安全,使用了专有网络VPC进行租户隔离。

如下图所示,双11使用了公共云平台上的一个VPC,这个VPC和其它VPC都是隔离的,禁止通信的。

专有网络VPC使用隧道技术进行逻辑隔离,比经典网络更安全。这么说可能有点抽象,打个比方,VPC使用的隧道技术就好比是在同一条公路上开辟不同的隧道,每个用户有自己独有的隧道,和其它用户的隧道是完全隔离的,而经典网络的安全隔离技术就好比是在同一条公路上有不同的车道,车道之间用隔离带进行隔离,相比而言,没有隧道隔离那么安全。

如下图所示,隧道ID 100和隧道ID 200就对用两个不同用户的VPC,两个VPC中分别有VM1,VM3和VM2,VM4,这2个VPC的VM在各自的隧道上通信,和其它隧道的VM是隔离的。

大家可能会问,一个VPC容量够不够?能不能存下这么多ECS?这个无需担心,公共云平台上有的用户单个VPC已经超过20000台ECS了,在容器环境下,单VPC可也有容纳超5W容器的VPC,可从容应对业务的资源需求。

负载均衡SLB - 流量洪峰的调度器

负载均衡SLB产品支持对多台ECS进行流量分发,以提升应用系统的服务能力,长期以来都是关键业务系统的入口。双11亿万用户访问的流量洪峰需要大量的ECS服务器进行处理,而这些ECS的调度都需要依赖负载均衡SLB,负载均衡SLB接收到用户的请求,智能调度到后端的ECS进行处理,并将处理后的结果返回给用户。如下图所示:

可以说,双11的流量洪峰能不能扛住,用户沟通体验是不是流畅,负载均衡SLB是关键因素。对于负载均衡来说,最关键的是处理能力和调度效率,转换成具体的技术指标有如下:

  • 每秒峰值流量
  • 每秒新建连接数CPS
  • 最大并发连接数MaxConn
  • 每秒查询数QPS
  • 可调度的后端ECS数量

那么,双11负载均衡SLB的表现是怎样的呢,下面是其中一个实例的相关数据

指标项

数据

每秒峰值流量

10G

每秒新建连接数CPS

10W

最大并发连接上MaxConn

300W

后端ECS数量

超过1000台

要说明的是,这仅仅是一个实例的数据,双11中负载均衡SLB使用了很多实例。SLB集群根据规模大小有不同的处理能力,常见的公有云集群单个集群可提供超过1亿的最大连接数,超过1000W的每秒新建连接数,集群总带宽640Gbps。

那么,这些数据的背后,双11的负载均衡实例采用了什么样的配置呢?负载均衡集群又做了哪些优化呢?

NAT网关 - 支付成功的关键

NAT 网关产品支持SNAT和DNAT功能。SNAT功能即为VPC内无公网ECS提供访问Internet的能力,也支持通过DNAT将公网IP地址映射给VPC ECS,使得VPC ECS可以面向Internet提供服务。

双11中NAT网关主要提供的是SNAT服务,为什么说NAT网关是双11中支付成功的关键呢? 如下图,当用户选择了自己看中的宝贝后,点击“提交订单”:

即会跳转到支付宝进行付款,这个时候就需要通过NAT网关去调用支付宝的支付接口,这就是NAT网关的SNAT功能,参见如下示意图:

双11支付宝交易峰值达到25.6W笔/秒,其中每一笔的支付都需要NAT网关,这就需要NAT网关具备超大规模的带宽和超大并发连接,当然还需要具备超强的容灾能力。整个双11期间,其中一个NAT网关的最大连接数就高达300W。

高速通道 - 全球最大混合云的网络通道

混合云将公共云和云下数据中心通过专线互通,云上云下连成一体,这就是混合云。混合云既可以保护原有线下IDC的投资,又可以充分利用云的弹性,尤其适合双11这样的促销场景。

可以说,双11发展到第九年,其意义早已超越消费和零售领域,更是史无前例的社会化大协同,成为商业、经济、科技变革的最大实验场,因此,双11也是全球最大规模混合云架构的极好实践,在这朵云上,商品浏览,订单支付,客户服务,物流查询等等,很多系统调用频繁在公共云和云下数据中心之间进行,已经成为一个紧密的整体,这些云上云下系统调用的背后都依赖混合云网络通道,这就是高速通道。

如下图所示,高速通道有两个重要的功能,一是专线,即将线下IDC和云上VPC连接起来,二是VPC互联,即将不同的VPC[跨地域]连接起来。

基础设施 - 无处不在的网络技术

除了网络产品本身,网络更是双11其它任何系统或产品的基础设施,比如双11中的数据库,其处理峰值达到4200万次/秒,就依赖底层的网络技术。

又如双11晚会的视频直播,再如说弹性计算ECS的网络性能,更依赖存在于宿主机上的无名英雄-虚拟交换机,等等。

可以说网络是双11背后千百个系统的基础,是基础的基础,核心的核心。网络无处不在,但网络之于双11的最高境界是购物狂欢中感知不到网络的存在,平稳,丝滑的购物体验就是网络的最大意义。

技术解密 - 50+技术详情一图看全

2017天猫双11的交易额定格在1682亿。但对技术的追求,却从未定格。11秒交易额破亿,28秒破10亿,3分01秒破百亿,40分12秒破500亿,9小时破1000亿……2017年11月11日的数据一定会铭记在历史中。交易峰值32.5万/秒,支付峰值25.6万/秒,比去年增长超1.1倍,再次刷新全球纪录。同时诞生的还有数据库处理峰值,4200万次/秒。

要想详细了解2017天猫双11背后所有技术,可看长图(点击可下载)。


原文发布于微信公众号 - 马哥Linux运维(magedu-Linux)

原文发表时间:2017-11-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

一些比非常不安全的密码认证更安全的认证方式

密码是全球用户认证的最常见方式,其使用率在过去的十多年来一直在缓慢下降。比尔盖茨在2004年的RSA会议上声称,“毫无疑问,随着时间的推移,人们对密码的依赖会越...

933
来自专栏DevOps时代的专栏

一种轻量级的代码资产管理思路

“代码管理还分轻量和重量?”,想必不少被标题吸引进来的朋友会有此疑问。在此,请容我解释一二: 1、注意,这里提到的是“代码资产”,而不是“代码”。 2、为了给后...

2378
来自专栏魏艾斯博客www.vpsss.net

腾讯云年中大促-热销云产品年付 3 折起

2003
来自专栏人人都是极客

嵌入式和单片机的区别在哪?

单片机和嵌入式,其实没有什么标准的定义来区分他们,对于进行过单片机和嵌入式开发的开发者来说,都有他们自己的定义,接下来,就谈谈这两个概念的理解。

2073
来自专栏北京马哥教育

为一般人解说什么是Linux

本文是为那些没有接触过Linux系统的人写的。了解Linux系统对于一个技术来人员可谓是必须的(即便不是和计算机直接相关的),而对于广大普通用户而言,只了解Wi...

4649
来自专栏沃趣科技

降低保险行业TCO成本最好的方式是……

时至今日,“虚拟化”,“云”等名词早已耳熟能详,其提供的特性:将服务器物理资源抽象成逻辑资源,可以将一台服务器变成几台甚至上百台虚拟服务器;将CPU、内存、磁盘...

1415
来自专栏云加头条

电商月将至,腾讯云DCDB助力电商企业应对支付洪峰

第34届中国数据库学术会议(NDBC 2017)已于2017年10月20日至22日在浙江大学举办。本次会议,腾讯云带着其分布式数据库 DCDB(内部代号TDSQ...

2230
来自专栏IT米粉

Apple 系统正式版要发布了,有你期待的功能吗?

Apple操作系统每年例行升级时间到,每年都说的那么牛B,不管是IOS还是Mac os功能已经曝光的差不多了,你需要的功能有出现吗? 每年对系统的升级,其实还是...

3176
来自专栏马哥教育

初学者怎么快速掌握Linux运维?

2018年里,Linux运维的职位数量和平均薪资水平仍然持续了去年的强劲增幅,比很多开发岗位涨的都快。从研究机构的数据来看,Linux职位数量和工资水平涨幅均...

4174
来自专栏Material Design组件

今后设计可注意的点

给用户一份精美小礼品这样的友好举动再好不过了。具体来讲,送出礼品也是之有效的获得客户忠诚度的战术,这是建立在人们互惠准则上的。而这样做所带来的好处也是显而易见的...

964

扫码关注云+社区

领取腾讯云代金券