下单接口调优实战,性能提高10倍

一、概述

最近公司的下单接口有些慢,老板担心无法支撑双11,想让我优化一把,但是前提是不允许大改,因为下单接口太复杂了,如果改动太大,怕有风险。另外开发成本和测试成本也非常大。对于这种有挑战性的任务,我向来是非常喜欢的,因为在解决问题的过程中,可以学习到很多东西。

当时我只是知道下单接口慢,但是没人告诉我慢在哪里,也即是说,哪些瓶颈导致下单接口慢了。其实没人知道也没关系的,因为我们可以通过压测来找到具体的瓶颈。

下面会详细介绍一下,在本次压测中遇到的问题以及如何解决,期间用了什么工具。 二、用到的工具和环境

工具

  • Jmeter
  • JAVA自带的jvisualvm
  • JMX
  • nmon

环境

  • 腾讯云Mysql
  • 腾讯云2核4g的服务器1台

三、找瓶颈

下单属于写接口,大部分情况下,瓶颈都出在DB里,程序可能都在等待DB锁的释放。为了验证这个想法,我们可以使用Jmeterjvisualvm来验证一下。

为了监控服务器和服务器中JAVA进程,我们需要开启JMX,可以在JAVA进程启动的时候,添加如下几个参数:

JMX_OPTS="-Dcom.sun.management.jmxremote.port=7969 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=xx.xx.xx.xx"

nohup java ${JMX_OPTS} -jar xxxxx.jar

Djava.rmi.server.hostname填写JAVA进程所在服务器的IP地址,-Dcom.sun.management.jmxremote.port=7969是指定JMX监控端口的,这里是7969。

重新启动进程后,打开本地的(我用的是Window10) jvisualvm,添加JMX配置。配置成功后,可以点击线程那个tab,因为我们要做线程dump,观察线程的执行情况。

好了,现在我们可以使用Jmeter来对下单接口进行压测了。可以先用50线程并发压,执行时间是1分钟。

在压测的过程中,做一下线程dump,同时利用nmon观察应用服务器CPU的负载情况。

负载很低,将线程并发调整到100后,CPU还是上不去,这样的话,初步可以判断,代码里有锁。

通过观察dump文件,发现如下信息:

- locked <22f6e7f3> (a com.mysql.cj.core.io.ReadAheadInputStream)
- at com.sun.proxy.$Proxy231.reduceSkuStock(Unknown Source)

触发这个lock的业务代码是reduceSkuStock方法。通过阅读代码,发现reduceSkuStock被包在一个大事务里面。

@Transactional(rollbackFor = {Exception.class})
 createOrder() {
 //1、扣减库存
 reduceSkuStock();
 //2、创建订单
 insertOrder();
 //3、其他写操作
  。。。。
}

库存记录通常存在一张独立的库存表,由于创建订单的方法,是一个大事务,这样就会导致某条库存记录只有当整个createorder()方法执行完后,数据库行锁才会被释放,在这个期间,其他线程是无法对这条库存记录进行写操作的。因此我们可以在reduceSkuStock()中,再开一个事务,操作完这条库存记录后,赶紧释放锁,这样应该可以提高一些性能。为了验证是否是因为事务的原因导致下单接口慢,我们可以直接将createOrder()方法的事务去掉,再压测一下。

压测结果发现,下单接口的TPS提高了一倍,CPU也上去了不少,但是仍然不够理想,代码里,应该还有其他的锁。再次做线程dump,又发现了一个锁。

- locked <438be230> (a org.apache.http.pool.AbstractConnPool$2)
- at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:108)

导致锁的代码是HttpClientexecute方法,该方法在执行的时候,一直在等待获取HTTP连接,通过查看源代码,发现居然没有使用连接池,醉了。赶紧加上如下代码:

PoolingHttpClientConnectionManager pool = new PoolingHttpClientConnectionManager();
pool.setDefaultMaxPerRoute(400);
httpClient = HttpClients.custom().setConnectionManager(pool).build();

再次压测后,发现代码里已经没有锁了。TPS提升了5倍。但是接下来还得做几件事情:

1、打印下单接口的所有SQL,然后逐一进行explain操作,看看有没有全表扫描的语句或者没用到索引的SQL语句;

2、观察下单接口执行的过程中,FULL GC发生的次数;

3、增加应用的MYSQL连接数; 好了,到了这地方,我们可以回到前面,来解决库存问题了。由于老板说,不能大改,因此我就在reduceSkuStockreduceSkuStock方法上,再开一个事务。

@Transactional(propagation = Propagation.REQUIRES_NEW)
reduceSkuStock(){}

让执行库存操作的线程执行完后,赶紧释放行锁。这样做也有个风险,就是库存扣减成功后,下单失败了。不过这种情况比较少,因为当时的下单接口中,大部分业务逻辑都在前面做好判断了,到达插入订单的代码时,就只是单独的insert了,除非数据库挂了,不然不会出现下单失败的情况。

在开发环境下,经过调优后,下单接口的TPS提升了3倍左右,当然由于开发环境的数据库和应用服务器都比较差,也会对TPS有影响的。当时优化完后,在生产上进行了压测,发现TPS提升了10倍。 四、总结

这个是下单接口的逻辑不能大改的情况下的优化方案,一般来说,库存操作应该是单独的服务,可以单独优化的。而单纯的下单逻辑也是可以优化的。

原文发布于微信公众号 - Linyb极客之路(gh_c420b2cf6b47)

原文发表时间:2018-10-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏kl的专栏

记spring boot快速改造老项目

博主公司一个项目在开发中使用某些功能的时候,受限于spring低版本的限制,故索性将整个模块升级为spring boot,在这里做个记录,希望能帮助到有相同场景...

6128
来自专栏IT技术精选文摘

微服务架构中的进程间通信

介绍 在单体应用程序中,组件通过语言级的方法或函数调用进行彼此的调用。相比之下,基于微服务的应用程序是在多台机器上运行的分布式系统。每个服务实例通常是一个进程...

5695
来自专栏安恒信息

揭密HTML 5带来的攻击手法

HTML5 是下一代的HTML,HTML5赋予网页更好的意义和结构。更加丰富的标签将随着对RDFa的,微数据与微格式等方面的支持,构建对程序、对用户...

3705
来自专栏运维技术迷

清空messages没有权限的解决方法

一大早接到报警提示系统盘容量不足了,冲到/var/log下查看messages日志已经很大了,所以就想着把messages清空一下,以此来释放空间.在删除的时...

35710
来自专栏喵了个咪的博客空间

PhalGo-ADM思想

#PhalGo-ADM思想 关于ADM思想主要是指在API开发中使用API,Domain和Model三层结构,PhalGo从PhalApi中学习并且推崇这种设计...

3789
来自专栏用户2442861的专栏

CQRS架构简介

http://www.cnblogs.com/netfocus/p/4055346.html

1272
来自专栏云计算教程系列

如何在Ubuntu 14.04上设置Hexxit(Minecraft ModPack)服务器

Hexxit是一个Minecraft modpack,即Minecraft mods的集合。虽然原始游戏的根源在于自由形态的探索和建设,但Hexxit强调冒险和...

1191
来自专栏BestSDK

使用 JS 构建跨平台的原生应用(一):React Native for Android 初探

Facebook 于 2015 年 9 月 15 日推出 React Native for Android 版本。相比起 for iOS,for Android...

2335
来自专栏翻译

在Ubuntu 14.04/14.10上搭建Minecraft Spigot服务器

本文介绍了如何在Ubuntu 14.04 / 14.10上搭建自己的Minecraft服务器,搭建一个让我们可以与朋友远程开黑的私服,甚至是搭建一个几百人的公共...

3093
来自专栏各种机器学习基础算法

npm下载报错情况的处理

npm是一个非常强大的包管理器,基本上前端需要的插件和框架在这上面都有,所以本人一直只用这个,其他的一律先忽视。然而使用npm时有时候会出现error以及无法下...

3348

扫码关注云+社区

领取腾讯云代金券