sysbench压测MyCAT的shell脚本

中间件MyCAT自己之前也简单测试过,总结过。最近做分布式测试,我大体分了三个阶段:

一.环境部署,MHA和MyCAT的融合,读写分离

二.sharding策略和分库分表的压力测试

三.结合业务做分库分表的模拟测试

尤其是分库分表的测试方面,目前还是存在一些需要确认的点。

我在测试之前所想,做这个分布式测试的意义是什么?是想通过测试来论证什么,希望达到什么目标,是否稳定,功能是否满足需求,这些都是需要反复明确的地方。

当然,这些我没有留太多的时间下来,我希望是速战速决,但是测试质量还是需要基本保证,那就是测试的场景基本要全面一些。

测试工具的选择上,我目前先选择了sysbench,原生支持,操作起来相对容易控制,尤其是支持的场景很丰富,在一些流水型数据的业务中,我如果侧重测试密集型插入的场景,就可以很轻松的使用insert的模板来测试。

MyCAT的部署上本身是很简单的,无非是一些基本的环境配置。如果是一个新手,从安装Java到部署MyCAT,如果全程跟进,基本两个小时都能够拿下来。部署安装参见之前的一篇文章Mycat读写分离配置实践

而sharding策略的配置还是需要花一些时间的,首先是你得理解它的sharding逻辑。大体明白之后,事情就很简单了。

测试的场景,我是这样来规划的,首先在3个物理机上面部署了MySQL服务,每个服务器是一个sharding节点,然后有另外一台服务器部署了MyCAT,这样就是一个简单的分布式sharding环境。

要压测基本的性能情况,有几种测试的方法,假设测试的表为:sharding_table,存在的数据库为db1,db2,db3,db4

测试的场景就会很丰富.

场景1:

场景2:

在之前的基础上进行扩展,按照这个进度,基本就是3N的方式,所以就会有3,6,9,12这样的一些分布方式,这样的好处就是前期规划了,后期如果出现瓶颈,可以很方便的拆分。

要完成这些工作,每个场景测试偷工减料测试几分钟也是不行的,每个场景最起码得1个小时,按照这个要求,至少得20个小时,人是铁饭是钢,我不能一直守在那里。所以就在下班前写了个脚本,让它慢慢跑吧,明天上班收数。

我前期做了快速迭代,把每个场景都大体跑了下,得到了一个基本的数据分布,然后细化到每个场景一个小时来收到相对完整的数据情况。

脚本如下,我配置了10个sbtest[N]的表,如果是做分片,3个服务器节点切分成12个sharding分片,那就是120个表。测试的场景我是分为不同的sharding分片,不同的线程数。需要提前配置下rules.xml和schema.xml我是准备了好几份这个配置文件,到时候直接替换就行。

#!/bin/bash
time=3600
sleep_time=60

function clean_data
{
echo $time
echo ${sleep_time}

mysql -umycat_user -pmycat_user -P8066 -h127.0.0.1 <<EOF
use sbtestdb1
 delete from sbtest1;
 delete from sbtest2;
 delete from sbtest3;
 delete from sbtest4;
 delete from sbtest5;
 delete from sbtest6;
 delete from sbtest7;
 delete from sbtest8;
 delete from sbtest9;
 delete from sbtest10;
EOF

sleep ${sleep_time}
}

function sysbench_test
{
clean_data
shard_no=$1
thread_no=$2
/usr/bin/sysbench /usr/share/sysbench/oltp_insert.lua --db-driver=mysql 
--mysql_storage_engine=innodb --mysql-user=mycat_user 
--mysql-password=xxxx --mysql-port=8066 --mysql-host=127.0.0.1 
--mysql-db=sbtestdb1 --auto_inc=1 --tables=10 --table-size=50000000 
--threads=${thread_no} --time=$time --report-interval=5 
run |tee sysbench_${thread_no}_sharding_${shard_no}.log

sleep ${sleep_time}

}

function change_sharding
{
shard_no=$1
date
echo 'SHARDING_NO:'${shard_no}

mv  /usr/local/mycat/conf/schema.xml /usr/local/mycat/conf/schema.xml.tmp >/dev/null
cp  /usr/local/mycat/conf/schema.xml.sharding_${shard_no} /usr/local/mycat/conf/schema.xml >/dev/null

/usr/local/mycat/bin/mycat restart >/dev/null

sleep ${sleep_time}
}

change_sharding 12
sysbench_test 12 16
sysbench_test 12 32
sysbench_test 12 64
sysbench_test 12 98
sysbench_test 12 128

change_sharding 9
sysbench_test 9 16
sysbench_test 9 32
sysbench_test 9 64
sysbench_test 9 98
sysbench_test 9 128

change_sharding 6
sysbench_test 6 16
sysbench_test 6 32
sysbench_test 6 64
sysbench_test 6 98
sysbench_test 6 128

change_sharding 3
sysbench_test 3 16
sysbench_test 3 32
sysbench_test 3 64
sysbench_test 3 98
sysbench_test 3 128

感兴趣的也可以自己测试一下。从我目前测试的数据来说,这种方案效果还是很威猛的。

原文发布于微信公众号 - 杨建荣的学习笔记(jianrong-notes)

原文发表时间:2017-12-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏杨建荣的学习笔记

运维系统重构的设计思路

最近要对已有的运维平台做重构工作,为什么要做重构,主要还是因为各种各样的原因,需要对已有的问题改进,修复历史遗留包袱。这个时间迟早都会来到,还不如自己自觉一点,...

17020
来自专栏Rainbond开源「容器云平台」

技术解读Rainbond ServiceMesh微服务架构_开源PaaS Rainbond

服务发现和注册、弹性伸缩与负载均衡、容错处理(断路器与限流)、监控与报警、数据存储与共享、日志分析……

438110
来自专栏小狼的世界

PHP开源Apache日志分析工具收集与比较

我们知道已经有很多像Awtstat这样的使用perl、c或者c++开发的强大的日志分析工具,但是同样也有很多使用PHP开发并且开源的日志分析软件,今天我就收集了...

36020
来自专栏哲学驱动设计

Rafy 领域实体框架简介

按照最新的功能,更新了最新版的《Rafy 领域实体框架的介绍》,内容如下: 本文包含以下章节: 简介 特点 优势 简介 Rafy 领域实体框架是一个轻量级 OR...

21370
来自专栏蓝天

成功的 Web 应用系统性能测试

基于Web服务器的应用系统由于提供浏览器界面而无须安装,大大降低了系统部署和升级成本,得以普遍应用。目前,很多企业的核心业务系统均是Web应用,但当Web应用的...

23240
来自专栏韩伟的专栏

浅析海量用户的分布式系统设计(1)

为什么海量的用户访问,会让一个服务器端系统变得更复杂?本文就是想从最基本的地方开始,探寻服务器端系统技术的基础概念。

31.5K70
来自专栏企鹅号快讯

周集:好用的工具和网站

上次提到的软件下载的页面已经写完了,接下来就是往页面中丰富内容,我会放一些自己用过的比较好用的软件工具,下载地址,有官方网站的我会放上官方网站的地址,没有的话,...

23590
来自专栏Albert陈凯

mysql分布式数据库中间件对比mysql分布式数据库中间件对比

mysql分布式数据库中间件对比 目前数据库中间件有很多,基本这些中间件在下都有了解和使用,各种中间件优缺点及使用场景也都有些心的。所以总结一个关于中间件比较的...

66370
来自专栏pangguoming

mysql分布式数据库中间件对比

目前数据库中间件有很多,基本这些中间件在下都有了解和使用,各种中间件优缺点及使用场景也都有些心的。所以总结一个关于中间件比较的系列,希望可以对大家有帮助。

35510
来自专栏草根专栏

Python数据分析(二): Numpy技巧 (4/4)

numpy、pandas、matplotlib(+seaborn)是python数据分析/机器学习的基本工具。 numpy的内容特别丰富,我这里只能介绍一下比较...

32790

扫码关注云+社区

领取腾讯云代金券