jmeter 测试ES并发

Jmeter 测试

Jmeter安装

Jmeter配置

  • 配置线程组 测试计划->添加->threads->线程组: 如图所示则是200个用户,Ranmp-up Period是这么多用户在10s内提交完毕,循环10次

image.png

  • 配置参数文件 线程组->添加->配置元件->CSV Data Set Config 配置相应的属性

image.png

  • 配置HTTP请求 线程组->添加->Sampler->HTTP请求 配置相应的属性

image.png

  • 添加输出报告 线程组->添加->监听器->summary report
  • 添加察看结果树 线程组->添加->监听器->察看结果树 通过结果树可以看到发送到服务器的请求,以及返回的结果。可以通过这个组件调试请求。

image.png

结果分析

结果如图所示:

image.png

samples:运行的线程总数5000。
Average:平均响应时间192ms。
Error:错误率0。
Throughout:吞吐量,每秒钟处理了1831个请求。

遇到的问题

  • 编码问题 1)查看参数文件的编码,一般用utf-8,。如果是txt文件,且编码不是utf-8,打开文件,另存为,设置编码格式为utf-8 2)在CSV Data Set Config配置时,设置解析文件的格式为utf-8 3)在HTTP请求配置,设置Content encoding为utf-8

Python脚本测试

import sys
import os
import threading
import random
import time
import json 

def parse_param():
    args = sys.argv
    thread_num = args[1]
    times = args[2]
    keyword_fname = args[3]
    rfile = open(keyword_fname) 
    keywords = rfile.read().split("\n")
    rfile.close()
    return int(thread_num),int(times),keywords

def get_file_data(fname):
    rfile = open(fname)
    keywords = rfile.read().split("\n")
    rfile.close()
    return keywords

class myThread(threading.Thread):
    def __init__(self,cmd,cost_time):
        self.cmd =cmd
        self.cost_time = cost_time
        threading.Thread.__init__(self)

    def run(self):
        result = os.popen(self.cmd).read()
        result =json.loads(result)
        if "error" in result.keys():
            print "error:%s" % result
        self.cost_time.append(int(result["took"]))
        #self.cost_time += [int(result["took"])]
        #if result[0:10].find("error") != -1:
        #    print "error"
        #print result

def run(thread_num,times,cmds):
    threads=[]
    start_time = time.time()
    t = 0
    cost_times =[]
    for i in range(0,times):
        for j in range(0,thread_num):
            tmp_thread = myThread(cmds[t],cost_times)
            t = t+1
            threads.append(tmp_thread)
        for val in threads:
            val.start()

        for val in threads:
            val.join()
        threads[:] = []
    print len(cost_times)
    avg_time = sum(cost_times)/len(cost_times)
    #avg_time = float((time.time()-start_time))/times
    output = float(thread_num*times)/(time.time()-start_time)
    return avg_time,output

def clear_cache():
    cmd = "curl 100.110.11.131:9200/_cache/clear"
    result = os.popen(cmd).read()
    print result

def deal_once(thread_num,times,keywords):
    #thread_num,times,keywords=parse_param()
    clear_cache()
    ip_list = ["xxx","xxx","xxx","xxx"]
    #cmd = "curl xxx:9200/customer/_search -d '{\"size\":0,\"query\":{\"should\":[";
    cmds =[]
    for val in keywords:
        cmd = "curl %s:9200/customer32/_search -d '{\"size\":0,\"query\":{\"bool\":{\"should\":[" % random.sample(ip_list,1)[0]
        keyword = val.split("\t")
        for key in keyword:
            tmp = "{\"match_phrase\":{\"strdescription\":\"%s\"}}," % key
            cmd = cmd + tmp
        cmd = cmd[:-1] + "]}}}'"
        cmds.append(cmd)
    print cmds[0]
    avg_time,output = run(thread_num,times,cmds)
    print "avg_time:%f" % avg_time
    print "output/s:%f" % output


def deal():
    #thread_num = [100,500,1000,2000,3000]
    #thread_num = [100,200,400,500]
    thread_num = [5000]
    times =1
    files = ["2_prefix.txt","6_prefix.txt","11_prefix.txt"]
    files = ["2_prefix.txt","6_prefix.txt"]
    files = ["11_prefix.txt"]
    for file in files:
        for num in thread_num:
            print "thread_num:%d\t file is %s" % (num,file)
            keywords = get_file_data(file)
            deal_once(num,times,keywords)
            time.sleep(1)


deal()

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Python中文社区

PyQt5 GUI应用程序工具包入门(1)

众所周知,PyQt5是一款优秀的GUI工具集,可用于python界面的快速开发。 本文采用Python3.6+PyCharm社区版进行PyQt5的开发。对于p...

4097
来自专栏bboysoul

使用ngrok作反向代理

自从进入了公司,就碰到一个很大的问题,那就是公司电脑扛不走,所以在家想访问公司的电脑中的资料就很麻烦,所以就只能使用ngrok作反向代理,之后ssh到公司网站去...

1754
来自专栏PHP在线

PHP 安全性漫谈

原文出处: 彭长霖 本文所讨论的安全性环境是在Linux+Apache+Mysql+PHP。超出此范围的安全性问题不在本文范畴之内 一、apache serv...

3817
来自专栏LhWorld哥陪你聊算法

HBase篇--初始Hbase

1.HBase,是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。 2.利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapRe...

2482
来自专栏运维小白

10.2 vmstat命令

监控系统状态 vmstat 命令,监控系统状态 用法 vmstat 1 关键的几列:r ,b,swpd,si,so,bi,us,wa vmstat命令 用 w...

1885
来自专栏Spark生态圈

[spark] 从spark-submit开始解析整个任务调度流程

spark应用程序可以以Client模式和Cluster启动,区别在于Client模式下的Driver是在执行spark-submit命令节点上启动的,而Clu...

5713
来自专栏游戏杂谈

Linux下使用rsync同步文件

遇到的问题是几台游戏服务器,有一台新的服务器之前已经copy(Linux的scp命令)过文件上去,但在测试的过程中发现还是图片无法正常不显示出来,然后用http...

4702
来自专栏小狼的世界

使用Fusioncharts实现后台处理进度的前台展示

关于第一个问题,不是本文的重点,简单说一下思路。因为HTTP协议实际上是无状态的协议,前台的请求提交给后台之后,一般情况下都是后台处理完成才会向前台返回处理结果...

1131
来自专栏达摩兵的技术空间

跨页面通讯的几种方式

你经常会遇到需要跨标签共享信息的情况,那么本文就跟大家一起回顾下web端有哪些方式可以实现这样的需求。

1975
来自专栏前端杂货铺

node实现watcher的困境

@(node,watcher) watcher,在如今的前端领域已经数见不鲜了。目前流行的gulp流程工具提供了watcher的选项,是我们在开发过程中不需要手...

2414

扫码关注云+社区

领取腾讯云代金券