性能测试工具能力比拼——kylinTOP/loadRunner/Jemter

企业平台

BS架构，企业级平台，支持多人同时操作；支持项目管理、模块管理、用户管理、脚本用例管理、参数文件管理；支持多次运行报告历史对比、单个接口多次运行历史对比

单机CS架构，简单的脚本管理

单机CS架构，简单脚本管理

协议/业务

支持多种协议，支持HTTP/HTTP2、RTSP、RTMP、Socket、JAVA自定义等；

支持协议更多

支持协议较少，不支持HTTP2、SIP、RTSP、RTMP

脚本录制

支持浏览器代理录制、抓包文件录制

支持录制

支持浏览器代理录制

模拟浏览器

录制时记录浏览器的行为，每个用户模拟浏览器一样的并发数与TCP连接数。实现模拟真实环境的场景。 

不支持，每个虚拟用户串行执行脚本HTTP请求，停留在IE6水平，不能直接评估系统用户数，但又没标准换算公式，与真实浏览器并发差距大

不支持，每个虚拟用户并发时是串行执行HTTP请求，与真实浏览器并发差距大

真实浏览器

支持WEB UI界面自动化点击，一台电脑通过headless可以打开5到20个真实浏览器，多台电脑即可实现更大的并发。一些复杂页面例如加密、或动态页面无法使用模拟HTTP，可以通过真实浏览器并发。

不支持

不支持

接口测试

支持接口自动化测试，接口历史报告查看与对比；支持HTTP接口、RPC接口测试与监控

只支持接口性能测试，不支持接口自动化测试

支持接口性能与自动化测试，但报告简单

虚拟用户数据分析

唯一一个性能测试平台可以支持分析每个用户的详细信息，包括请求响应时间与事务时间、时间支持90% 80%、第一个Buffer时间、TCP建立时间、吞吐量、成功失败数，以便定位哪些HTTP请求花费时间长。用于分析页面情况

支持Web Page Diagnostics，不支持定位到每个虚拟用户

支持简单汇总，不支持定位到每个虚拟用户

录制与回放比较

支持录制日志与回放日志进行比较定位脚本问题或验证脚本是否正确，大大提高脚本效率与准确性

支持验证回放

不支持

验证脚本成功

回放脚本后，支持通过浏览器重复录制时的操作来验证脚本是否成功，一目了然即可看到页面是否一样

验证功能里支持简单页面查看

不支持

自动关联

支持比较两次录制日志标识不一样的内容，或录制与回放日志比较实现自动关联

支持

不支持

资源占用

资源占用率更低，同等硬件配置支持更多虚拟用户数

资源占用率高

资源占用较高

分布式测试

支持控制多个压测机实现分布式并发测试；

支持

支持

并发模型

强大且灵活的并发模型，包括用户数/秒、CAPS/秒、目标模型，详细请点击链接

支持多种并发模型

并发模型单一

报告与分析

支持合并指标曲线、曲线过滤、曲线放大缩小、比较不同测试结果、日志分析，生成HTML报告

更完善，支持生成HTML、Word报告

简单图表

资源监控

提供Monitor代理器，支持CPU、内存、I/O、交换区、磁盘读写数、吞吐量等资源指标

更完善，支持SNMP收集资源指标

不支持

IP与端口

支持输出每个虚拟用户使用的IP与端口，以便执行失败或成功但时间超长时抓包定位问题，通过过滤IP与端口可以筛选异常的报文，以便提供证据给开发。因为在大并发性能测试时，测试问题，开发可能说是工具问题，或者无法定位问题，通过抓包即可辅助问题定位

不支持，无法给出

不支持

虚拟IP

支持系统虚拟IP与工具虚拟IP（支持更多IP占用资源更低）

支持系统虚拟IP

不支持

网速模拟

支持限制每个用户上传/下载带宽

支持

不支持

扩展性

支持JAVA语言扩展，解决私有算法或业务处理，如加解密，JavaScript计算

更完善，附加的TSL或者C函数库

开源，用户可根据需求修改源代码

提高自己

工具脚本与日志完善显示协议内容与交互过程，如HTTP协议及交互过程，让您更好学习HTTP与业务

脚本与日志隐藏了协议，对自身学习掌握协议帮助不大，懂协议与业务交互才能更好定位脚本问题

HTTP支持显示HTTP协议日志

在线支持/定制需求

提供帮助文档与视频，在线支持，快速创建测试场景与问题解决，提高测试效率

自己摸索实践

资源更少