首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >jmeter集群下脚本日志和报告处理

jmeter集群下脚本日志和报告处理

作者头像
嘉为蓝鲸
修改2020-01-03 13:36:01
4240
修改2020-01-03 13:36:01
举报

apache jmeter是apache软件基金会出品的一款用于接口测试,压力测试的开源软件,由于其免费开源,插件自由扩展,理论上可以支持所有种类的接口测试。jmeter自身也已经提供了许多优秀的插件,极大的增强了jmeter的能力。

jmeter支持分布式测试,在分布式模式下,由一台调度机调度所有的执行机(集群节点),执行脚本时可以自由的选择单节点执行或者分发集群中指定或全部的机器执行。在使用调度机客户端分发脚本时,无论是在GUI模式还是non-GUI模式,脚本日志的收集及报告的生成都无任何问题,但是如果是使用jmeter SDK在代码中调用客户端大并发分发脚本到执行机执行,则会存在日志无法实时获取的问题(超大jmx脚本执行时产生的超大日志通过网络传输需要时间)。

通过分析jmeter SDK的源代码,发现日志的收集是异步执行的,而在SDK中并未提供日志收集完成的通知能力,导致根据日志生成报告时经常出错(实际的脚本都是正常执行完的)。分析上述问题,提供的解决方案如下:

  • 脚本执行完后,当前线程睡眠一定时间
  • 暴力反射尝试获得日志的传输状态
  • 修改jmeter SDK的源代码,在其中增加监听机制
  • 当前线程只负责执行脚本到结束状态,定时收集日志并生成报告

针对以上的4种方案,分析其优缺点:

  • 日志大小无法确定,睡眠时间无法确定,而且睡眠会导致线程等待,可能会产生ThreadInterruptException
  • jmeter SDK注释写的很差(基本无注释),分析源代码需要强大的技术能力和一定的时间,目前的时间排期不允许
  • 同样由于注释的原因,也需要强大的技术能力和一定的时间,不过难度比第二种方式要低,也是可以产生最优结果的解决方案
  • 技术要求最低,实现容易,但是日志和报告的生成会延迟(基于定时器的周期)

在当前产品的需求上,其实日志和报告并不是极其敏感和实时性要求高的数据,所以最终选择第4种方案,代码如下:

每个十分钟拉取距今14400秒(任务执行超时时间,可配置启动参数)还未获取日志的任务并尝试获取日志。

因为是异步的拉取日志,所以在拉取日志之前加载一次jmeter的配置。

考虑到每一次停机维护的时间可能会很长(超过当前设置的任务超时时间),因此还需要提供一个启动应用时扫描任务的能力。

CommandLineRunner接口标识应用启动完成时执行该接口的实现类,因此需要使用@Component将类的对象加入到IOC容器中。

日志拉取完成后,再处理报告,同样的原理每个十分钟拉取距今14400秒(任务执行超时时间,可配置启动参数)还未获取日志的任务并尝试根据日志生成报告。

同样因为是异步生成报告,因此需要在生成报告时,加载一次jmeter的配置管理。此处也要考虑停机维护的问题,使用CommandLineRunner。

到此,jmeter日志和执行生成的问题完美解决,每一次执行完的任务可能会有10左右的延迟时间用来获取日志和报告

▲上图显示任务执行时和执行成功后,日志和报告正在生成中
▲上图显示任务执行时和执行成功后,日志和报告正在生成中

作者:陈洁

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-12-27,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 嘉为科技 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
容器服务
腾讯云容器服务(Tencent Kubernetes Engine, TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,覆盖 Serverless、边缘计算、分布式云等多种业务部署场景,业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者,主导开源项目Crane,全面助力客户实现资源优化、成本控制。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档