专栏首页嘉为科技的专栏jmeter集群下脚本日志和报告处理

jmeter集群下脚本日志和报告处理

apache jmeter是apache软件基金会出品的一款用于接口测试,压力测试的开源软件,由于其免费开源,插件自由扩展,理论上可以支持所有种类的接口测试。jmeter自身也已经提供了许多优秀的插件,极大的增强了jmeter的能力。

jmeter支持分布式测试,在分布式模式下,由一台调度机调度所有的执行机(集群节点),执行脚本时可以自由的选择单节点执行或者分发集群中指定或全部的机器执行。在使用调度机客户端分发脚本时,无论是在GUI模式还是non-GUI模式,脚本日志的收集及报告的生成都无任何问题,但是如果是使用jmeter SDK在代码中调用客户端大并发分发脚本到执行机执行,则会存在日志无法实时获取的问题(超大jmx脚本执行时产生的超大日志通过网络传输需要时间)。

通过分析jmeter SDK的源代码,发现日志的收集是异步执行的,而在SDK中并未提供日志收集完成的通知能力,导致根据日志生成报告时经常出错(实际的脚本都是正常执行完的)。分析上述问题,提供的解决方案如下:

  • 脚本执行完后,当前线程睡眠一定时间
  • 暴力反射尝试获得日志的传输状态
  • 修改jmeter SDK的源代码,在其中增加监听机制
  • 当前线程只负责执行脚本到结束状态,定时收集日志并生成报告

针对以上的4种方案,分析其优缺点:

  • 日志大小无法确定,睡眠时间无法确定,而且睡眠会导致线程等待,可能会产生ThreadInterruptException
  • jmeter SDK注释写的很差(基本无注释),分析源代码需要强大的技术能力和一定的时间,目前的时间排期不允许
  • 同样由于注释的原因,也需要强大的技术能力和一定的时间,不过难度比第二种方式要低,也是可以产生最优结果的解决方案
  • 技术要求最低,实现容易,但是日志和报告的生成会延迟(基于定时器的周期)

在当前产品的需求上,其实日志和报告并不是极其敏感和实时性要求高的数据,所以最终选择第4种方案,代码如下:

每个十分钟拉取距今14400秒(任务执行超时时间,可配置启动参数)还未获取日志的任务并尝试获取日志。

因为是异步的拉取日志,所以在拉取日志之前加载一次jmeter的配置。

考虑到每一次停机维护的时间可能会很长(超过当前设置的任务超时时间),因此还需要提供一个启动应用时扫描任务的能力。

CommandLineRunner接口标识应用启动完成时执行该接口的实现类,因此需要使用@Component将类的对象加入到IOC容器中。

日志拉取完成后,再处理报告,同样的原理每个十分钟拉取距今14400秒(任务执行超时时间,可配置启动参数)还未获取日志的任务并尝试根据日志生成报告。

同样因为是异步生成报告,因此需要在生成报告时,加载一次jmeter的配置管理。此处也要考虑停机维护的问题,使用CommandLineRunner。

到此,jmeter日志和执行生成的问题完美解决,每一次执行完的任务可能会有10左右的延迟时间用来获取日志和报告

▲上图显示任务执行时和执行成功后,日志和报告正在生成中

作者:陈洁

本文分享自微信公众号 - 嘉为科技(canway_service),作者:陈洁

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-12-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 四大机器学习编程语言对比:R、Python、MATLAB、Octave

    人工智能(AI)是近几年来最热的话题之一,不管是医疗界、互联网界、服务界,还是制造业、工业等等,不和AI挂个边都不好意思出来和人打招呼(比如咱们运维界也有AIO...

    嘉为科技
  • vSphere虚拟化平台升级注意事项

    目前,绝对部分企业均使用VMware vSphere 来构建云计算基础架构,从而减少运行的服务器数量,降低资金成本和运营成本,提高业务灵活性。

    嘉为科技
  • SaaS设计:自动化服务启停设计示例

    在企业内部时常有服务启停的需求,有时是因为在进行故障排除时需要对某些服务进行启停;有时是因为这些服务在线时间长了容易发生异常,需要定期进行启停;有时是因为需要进...

    嘉为科技
  • 如何在ELK中解析各类日志文件

    作为一个日志中心,它会收集各种各样的日志,可以用于问题排查,数据监控,统计分析等等。那么对于繁多的日志,它们都有各自的存储格式,我们如何来区分它们,对于不同的日...

    Java架构
  • 某业务自助开通账户问题排查

    现象:销售反馈用户自己开通的账户,只收到了提示邮件,账户没有实际生成 前因: 1. 用户开通账户调用接口后,在该接口中再次调用销售系统接口实际开通账户 2. 有...

    陶士涵
  • Unity应用架构设计(13)——日志组件的实施

    对于应用程序而言,日志是非常重要的功能,通过日志,我们可以跟踪应用程序的数据状态,记录Crash的日志可以帮助我们分析应用程序崩溃的原因,我们甚至可以通过日志...

    用户1161731
  • 拥抱.NET Core系列:Logging (1)

    ILogger:负责具体的日志写入逻辑,如:FileLogger,ConsoleLogger,SQLLogger,ElasticsearchLogger 等。

    落跑架构师M
  • CC攻击应急:自动拉黑IP的Shell脚本

    前两天参加面试,面试官问我:如果攻击方采用代理ip进行cc攻击,我们应该如何应急?

    FB客服
  • centos7 安装mongodb 原

    1、下载mongoDB的安装包:mongodb-linux-x86_64-rhel70-3.4.4; 2、上传安装包到服务器/data目录下; 3、解压安装...

    拓荒者
  • phpMyAdmin利用日志文件GetSHELL

    phpMyAdmin 是众多MySQL图形化管理工具中使用最为广泛的一种,是一款使用PHP 开发的基于B/S模式的MySQL客户端软件,该工具是基于 Web 跨...

    漏洞知识库

扫码关注云+社区

领取腾讯云代金券