一场版本升级引发的性能血案的追凶过程

1. 故事的开始

上周 ActFramework 推出 act-1.8.8-RC4 版本 后, 我兴致勃勃更新了 TFB 性能 PK 项目 到最新版, 经过漫长的 60 小时 ( TFB 的一次运行周期是 60 小时) 等待后终于等来了 .............................................. 噩耗: Act 这次的性能骤然下降, 不同测试的下降范围从 60% 到 90% 不等!

不多说了, 说起来都是泪啊. 先上图吧 (为了更加切合重点, 设置了测试过滤, 只显示 Java 全栈框架, 且排除掉了直接用 JDBC 的测试项目):

1.1 JSON 测试

act-1.8.1

act-1.8.8-RC4

JSON 测试性能下降: 74%

1.2 单次数据库查询测试

act-1.8.1

act-1.8.8-RC4

单次数据库查询测试性能下降: 73%

1.3 20 次数据库查询测试

act-1.8.1

act-1.8.8-RC4

20 次数据库更新测试性能下降: 76%

1.4 数据查询带后台模板测试

act-1.8.1

act-1.8.8-RC4

数据查询带后台模板测试下降: 60%

1.5 20 次数据库更新性能测试

act-1.8.1

act-1.8.8-RC4

20 次数据库更新测试下降: 50%

1.5 返回 helloworld 字串性能测试

act-1.8.1

act-1.8.8-RC4

返回 helloworld 字串测试下降: 90%

2. 追凶

这个结果直接把 ActFramework 扔进 Spring 的朋友圈去了, 这分明就是叔叔可以忍, 婶婶不能忍啊. 立马拉响红色警报, 开始缉拿凶手.

2.1 从简单之处入手

既然所有测试结果都有所下降, 那就从最简单的 Hello World 开始调查. 启动项目先:

先看能不能访问, 再拿出 wrk 压测一万年

2.2 被神器忽悠了

现在祭出白试不爽神器 JVisualVM, 开始抽样 CPU

果然发现猫腻, Router.getInvoker 居然吃掉大部分 CPU, 这是種么回事? 创建一个 SNAPSHOT 来分析一把:

WTF! binarySearch 居然会是 bottleneck !!! 我读书虽少也不是随便相信鬼话的人, 不过还是查看一下代码先:

这里面的 targetMethods 是这样的:

并没有一万个东西需要 search 啊, 这个 JDK 的二分查询会是瓶颈, 打死老码农也不会相信啊. 追凶时间迅速从七七四十九分钟上升到了九九八十一分钟, 还是没有任何进展.

2.3 抓住头号凶手

既然头号嫌疑犯搞不清楚, 那就追查二号嫌犯吧. 回到 CPU 抽样, 看到这个 org.osgl.util.S$Buffer.<init> 比较射眼睛:

是什么原因造成 Buffer 分配成为瓶颈的呢? 在创建一个 SNAPSHOT, 暂时掠过一号嫌疑, 从二号入手, 果然发现蹊跷之处:

每个请求进来都会创建 ActionContext, 毫无疑问这是兵家必争之地, 绝对绕不过去的, 跑回去看代码发现 ActionContext 的父类出现了这么一条语句:

的确是在 act-1.8.2 的时候整进去的, 目的是搞这么一个东西, 以后就不需要创建新的 StringBuilder了,可以降低 GC 压力. 可是当时不知道发什么神经, 居然一开始就给 buffer 初始化最大限额的空间, 话说这个默认空间大小是这样设定的:

而中间 calc.calculate 的过程是这样的:

用简单的话来讲就是默认大小是 JVM 可用内存大小的 128 分之一再除以线程数, 这个数字对于 TFB 测试 (给 JVM 分配了 2G) 来讲差不多是 512K. 也就是说每次请求进来先分配几百 k 的空间, 这个当然是不能忍受的. 当时的思路没有问题, 不过残酷的事实再次让老码农复习了 "理想是美好的 现实是骨感的" 这句箴言

立马干掉这个逻辑之后, 果然发现性能提升了至少 50%.

2.4 第二个凶犯暴露

回过头来研究头号嫌犯依旧没有进展, 不过在整个过程中发现了第二个性能损耗的凶手, 在 act-1.8.8 中引入的新式武器, 允许开发人员使用 Query 参数来 overwrite HTTP Header, 比如直接在浏览器上模拟发起 JSON 类型请求可以这样写: GET /url/?act_header_content_type=application%2Fjson&act_header_accept=application%2Fjson 可以让 Act 将该请求的 Content-TypeAccept 头当作 application/json 处理. 这个过程需要做 Keyword 匹配, 单次消耗时间虽然可以忽略不及, 但是要上 TFB 这种残酷擂台, 这样的消耗都是不能忽略的. 所以立马发明了一个新的配置 act.header.overwrite, 当设置为 true 的时候上面的特性才会生效. 这样又能提高几个百分点了.

2.5 第三个凶犯

折腾了一整天的 JVisualVM 还是不能搞清楚 Router 里面那个方法的问题. 最后老码农发飙了, 放弃了神器, 经过研究下载了 JProfiler 来帮助搞清楚这个事情. 需要花钱的东西和白给的东西之间的差距不用说了, JProfiler 立马把问题查的清清楚楚:

1.8.1 的情况:

1.8.8-RC4 的情况

非常明显的区别, 在 plaintext 的测试中 1.8.1 走了捷径, 没有调用 before after callback, 也因此没有设置 Content-Type 头, 经过继续追凶, 还发现 1.8.1 没有 clear ActionContext. 这里 1.8.8-RC4 并没有大的问题, 其实是修复了 1.8.1 的逻辑错误. 这部分性能损耗是应该的, 无法避免. 当然老码农也做了一些响应的优化, 比如允许开发人员指定某些请求处理器不参与 before, after 的 event trigger 过程. 这些都是题外话了.

3. 总结

对于 Java 系统遇到性能问题时的应对方式:

  1. 从简单情况入手
  2. 学会使用 JVisualVM (JDK 自带, 免费免费免费)
  3. 当 JVisualVM 开始忽悠的时候要请出真正的高手, 就像 JProfiler 这样的.

4. 题外话

TFB (TechEmpower Framework Benchmark) 平台不仅仅是一个展示框架实力的 T 型台, 更重要的是能够帮助框架作者发现自己框架一些潜在的问题, 是一个极好的测试反馈工具. 对于框架用户来讲则是提供了一个相对客观的参考, 不仅框架性能可以通过 TFB 直接拿到 , 框架的易用性也可以通过参加框架的测试项目反映出来.

目前在国内已经有多个开源产品登陆 TFB, 包括 Java 阵营的 ActFramework, bladeredkale; Go 阵营的 beego, revel; D 语言阵营的 hunt 还有宇宙语言 PHP 阵营中的 swoole 最近也加入了 TFB, 而且表现出非常强劲的实力, 值得围观

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯Bugly的专栏

如何定位Obj-C野指针随机Crash(二):让非必现Crash变成必现

继上一篇如何定位Obj-C野指针随机Crash介绍了思路后,这次我们继续看,如何让非必现Crash变为必现。 ? 陈其锋,腾讯SNG即通产品部音视频技术中心软件...

4093
来自专栏大数据文摘

程序员之痛点:取个好名字

1373
来自专栏Jerry的SAP技术分享

SAP成都研究院非典型程序猿,菜园子小哥:当我用UI5诊断工具时我用些什么

身边有些年轻同事曾经向我表达过这种困扰:尽管完成日常工作没有任何问题,但是还想更进一步,把代码写得更好些,做到精益求精。现在写的代码能实现功能,但是不知道可以怎...

1563
来自专栏互联网杂技

2017值得一瞥的JavaScript相关技术趋势

? 跨年前两天,Dan Abramov在Twitter上提了一个问题: ? JS社区毫不犹豫的抛出了它们对于新技术的预期与期待,本文内容也是总结自Twitt...

3214
来自专栏微信公众号:Java团长

一个牛人给Java初学者的建议

先说什么是java java是一种面向对象语言,真正的面向对象,任何函数和变量都以类(class)封装起来 至于什么是对象什么是类,我就不废话了 关于这两个概念...

582
来自专栏林德熙的博客

win10 uwp 商业游戏 1.1.5 商店可以卖出数多个游戏修炼游戏相关文章

本文是在win10 uwp 商业游戏 基础上继续开发,添加一些无聊的游戏。 因为在发布几个月,下载量很少,小伙伴说游戏就玩不到几分钟就不想玩,于是我就想加入其...

510
来自专栏魏琼东

基于AgileEAS.NET SOA 中间件领域模型数据器快速打造自己的代码生成器

一、前言      AgileEAS.NET SOA 中间件平台是一款基于基于敏捷并行开发思想和Microsoft .Net构件(组件)开发技术而构建的一个快速...

3576
来自专栏张善友的专栏

Microsoft StreamInsight 构建物联网

最近关于“物联网”(IoT) 的争论有很多,而且理由都很充分。 Ericsson 的 CEO Hans Vestberg 预测到 2020 年将有 500 亿台...

1805
来自专栏IMWeb前端团队

JavaScript: 2015年度回顾(译文)

本文作者:IMWeb coolriver 原文出处:IMWeb社区 未经同意,禁止转载 本文为 《 2015 in review》 一文的中文译文,...

1755
来自专栏工科狗和生物喵

印象笔记-扫描宝,堪比扫描仪的神器推荐

开篇语 相信简书的用户里面,肯定有很多的印象笔记用户吧,那么今天让我们来聊一下印象笔记的衍生产品,也是我本期推荐的我觉得一个堪比扫描仪的 扫描神器--印象笔...

6407

扫码关注云+社区