秒杀解决方案:没有 redis 也能够支撑”小米在印度把亚马逊搞挂了”

没有redis也能够支撑“小米在印度把亚马逊搞挂了”事件的秒杀解决方案。

小米在印度打破了多项记录:

  1. 4分钟内卖出了超过250,000台。 —OPS:1042次抢购/S
  2. 成为最快的手机抢购活动。
  3. 抢购前我们收到了100万“到货提醒”。
  4. 亚马逊每分钟收到超过500万个点击。
  5. 亚马逊在这个期间每秒收到1500个订单(这是印度电商公司所有销售中最高的)。 —OPS:1500次下单请求/S

性能表现

先说一下性能表现吧,因为大家对这个比较感兴趣。

硬件环境(Tomcat、Artemis、Jmeter、Oracle,backend都在这台电脑上):

  • MacBook Pro (Retina, 15-inch, Mid 2014)
  • 2.2 GHz Intel Core i7
  • 16 GB 1600 MHz DDR3
  • 512G SSD

软件环境:

  • java version “1.8.0_131″
  • Artemis 1.5.4
  • Oracle XE 11g (Docker)
  • Tomcat 8.5.14 (1个)

相关配置见如何准备环境

测试Jmeter脚本见如何Benchmark

  • 300线程,循环1000次,共30w请求

一共Benchmark了两次,因为JIT的关系,第二次的性能表现更好。

第一次结果

  • QPS:300000 in 00:01:57 = 2569.8/s Avg: 108 Min: 0 Max: 41102 Err: 164 (0.05%)
  • TPS:299836订单 / 121秒 = 2477条/s

PS. 数据库表现从后端程序的日志中分析的。

第二次结果

不重启Tomcat和Artemis,把数据库的数据恢复后,重启了后端程序

  • QPS:300000 in 00:00:35 = 8527.8/s Avg: 20 Min: 0 Max: 4515 Err: 2 (0.00%)
  • TPS:246873订单 / 46 秒 = 5366条 / s

数据库记录数偏少是因为Artemis队列满了,把消息丢掉了。

架构说明

从部署拓扑上看,架构分为4个部分:

  1. webapp,可集群部署,运行在Tomcat中
  2. ActiveMQ Artemis,负责webapp和backend之间的通信
  3. backend,只能单个部署,独立运行,内部使用Disruptor
  4. Oracle数据库

ActiveMQ Artemis

ActiveMQ Artemis是JBoss把HornetQ捐赠到Apache基金会后改名的项目,目前是ActiveMQ下的子项目。

HornetQ是当年大名鼎鼎的高性能消息中间件,因此ActiveMQ Artemis也具备相当的性能表现。

本项目利用它做webapp和backend之间的消息通信。

Disruptor

Disruptor是LMAX公司开源的高性能内存队列。Disruptor能够让开发人员只需写单线程代码,就能够获得非常强悍的性能表现,同时避免了写并发编程的难度和坑。 其本质思想在于多线程未必比单线程跑的快。

backend利用它把从ActiveMQ Artemis获得请求串行化,判断商品库存是否充足,更新剩余库存,最后异步写入数据库。

使用内存、避免IO

本项目对于库存是否充足的判断既不在数据库层面,也没有利用redis,更不涉及任何IO。

backend程序在启动时将数据库中的库存数据加载到内存中,库存充足判断、更新剩余库存的动作都是在内存中进行的,配合Disruptor绕过了并发编程的内存可见性、同步、锁等问题,性能非常强。

也许有人会说,在实际项目中把商品信息都放到内存中不现实,怕会发生OOM,其实这个要看具体情况。

在本项目中商品在内存中相关类是Item.java,在利用jol-cli(点此下载)查看其memory-layout后发现,其大小为24byte:

1

me.chanjar.jms.server.memdb.Item object internals: OFFSET SIZE TYPE DESCRIPTION VALUE 0 12 (object header) N/A 12 4 int Item.amount N/A 16 4 Long Item.id N/A 20 4 (loss due to the next object alignment) Instance size: 24 bytes Space losses: 0 bytes internal + 4 bytes external = 4 bytes total

Long占用的内存也为24b:

1

java.lang.Long object internals: OFFSET SIZE TYPE DESCRIPTION VALUE 0 12 (object header) N/A 12 4(alignment/padding gap) N/A 16 8 long Long.value N/A Instance size: 24 bytes Space losses: 4 bytes internal + 0 bytes external = 4 bytes total

假设你有100W商品需要秒杀,那么其占用内存 = 1,000,000 * (24b + 4b + 24b) = 52,000,000b = 49m。仅仅只占49m。

优化项

架构上的优化点

  1. 下单请求异步处理,请求返回的本次请求的ID,客户端拿这个ID到另行发起请求查询结果
  2. 在秒杀期间,商品库存信息在内存中,库存判断及库存扣减都在内存中进行,之后异步到数据库
  3. 利用Disruptor将并发请求串行化,同时避免了多线程编程复杂度
  4. 抛弃数据库事务,采用最终一致性

和JMS相关的优化点

  1. 重用JMS Connection、Session、MessageProducer、MessageConsumer,而不是每次都创建这些对象(Spring的JmsTemplate就是这么干的)
  2. 将JMS Session设定为transacted=false, AUTO_ACKNOWLEDGE
  3. 发送JMS消息时DeliveryMode=NON_PERSISTENT
  4. 关闭Artemis的重发、消息持久机制

和JDBC相关的优化点

  1. 使用JDBC Batch Update,减少和数据库网络IO的次数
  2. 优化更新商品库存的DB操作,将多个更新商品库存的请求合并成一条update,而不是多个update

和Tomcat相关的优化点

  1. 调大maxThreads参数

流程说明

本项目只提供了两个接口:

  1. 下单接口。用于下单。
  2. 查询下单结果的接口。用于查询下单是否成功。

聪明的读者肯定已经想到了,整个秒杀过程是异步的。

下单流程

查询下单结果的流程

转载分享给大家,欢迎评论~

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏魏琼东

AgileEAS.NET SOA中间件平台更新日志 2015-04-28

     AgileEAS.NET SOA 中间件平台是一款基于基于敏捷并行开发思想和Microsoft .Net构件(组件)开发技术而构建的一个快速开发应用平...

11400
来自专栏跟着阿笨一起玩NET

《我的WCF之旅》博文系列汇总

WCF是构建和运行互联系统的一系列技术的总称,它是建立在Web Service架构上的一个全新的通信平台。你可以把它看成是.NET平台上的新一代的Web Ser...

6510
来自专栏嵌入式程序猿

C8051F060单片机在数字电源控制器中的应用

引言 随着科技的发展,数字控制系统的应用越来越广泛。以前的模拟电源控制系统线路复杂,控制精度低,故障率高。因此开发全数字电源控制系统越来越重要。微控制器,微处理...

32460
来自专栏阮一峰的网络日志

Unix目录结构的来历

Unix(包含Linux)的初学者,常常会很困惑,不明白目录结构的含义何在。 ? 举例来说,根目录下面有一个子目录/bin,用于存放二进制程序。但是,/usr子...

32130
来自专栏Java3y

两个月的Java实习结束,继续努力

另外值得一说的是:别以为我写了那么多博客的就很厉害,很牛逼,其实我渣得一批!校招的算法笔试题基本没有ac的,在面试的时候,知识点说忘就忘。我写博客主要是记录一下...

24320
来自专栏Golang语言社区

谈谈go语言编程的并发安全

问题起因 在分布式存储开源项目 Weed-FS 中, 我发现了一个地方非并发安全(not concurrency-safety), 所以提交了一个 Weed-F...

45260
来自专栏数据和云

经典文档:Oracle Database 12.2新特性概览解读下载

在2017 OOW大会上,关于Oracle Database 12.2 数据库的新特性介绍仍然引人瞩目,会后公布了 Oracle VP Swonger的文档,我...

33270
来自专栏Albert陈凯

2018-06-07 小团队的自动化运维实践经验翟志军一些小团队的自动化运维实践经验

37930
来自专栏Java3y

从零开始写项目【总结】

从零开发项目概述 最近这一直在复习数据结构和算法,也就是前面发出去的排序算法八大基础排序总结,Java实现单向链表,栈和队列就是这么简单,十道简单算法题等等… ...

464100
来自专栏Golang语言社区

深入理解Wi-Fi P2P

本章主要内容: 介绍Wi-Fi P2P相关知识; 介绍Android中WifiP2pService、wpa_supplicant的相关代码。 7.1 概述 承...

50830

扫码关注云+社区

领取腾讯云代金券