专栏首页杨建荣的学习笔记使用sysbench压力测试MySQL(一)(r11笔记第3天)

使用sysbench压力测试MySQL(一)(r11笔记第3天)

今天用了下新版本的sysbench,发现和早期版本的差别还不小,确实有不少有趣的地方,是的,我们继续测试下MySQL。

如果大家看过《高性能MySQL》这本书,就会发现里面对于基准测试的描述非常全面和专业,里面的测试场景都是基于早期版本,这个版本有一个不太方便的地方就是无法抓取到更细节的数据,只有平均值,所以要不需要定制脚本,要不就需要更多的测试场景和时间来得到一个报告。

sysbench目前最新的版本是1.0.3,里面的interval参数确实很赞,也是驱动我尝试的最大动力,因为能够得到一个相对实时的数据变化。 sysbench的作者

在MySQL这个圈子里,Alexey Kopytov 很多人都知道,他是sysbench的作者,而且同时他就职于Percona,曾经在Oracle参与MySQL的研发工作。Percona Server和XtraBackup工具就是他们合理开发的。所以sysbench原生支持MySQL也就显得顺利成章,一个好的工具离不开那些低调的技术牛人。

Alexey Kopytov is a Principal Software Engineer at Percona. Before joining Percona in 2010 he was a member of the MySQL development team at Oracle. His focus at Percona is development of both Percona Server and Percona XtraBackup.

安装sysbench新版本的坑

安装sysbench的步骤常规就是四步:

  1. 运行autogent.sh脚本
  2. ./configure
  3. make
  4. make install

但是这样一个常规的工作在新版本中需要注意一些地方,可能会导致你安装失败,比如autoconf的版本需要在2.63以上,RedHat 5的版本中默认是2.59,满足不了,而且最重要的是如果你使用的版本低于RedHat 6,很可能遇到下面的这种错误信息:

lj_ir.c:64: error: ‘exp2’ undeclared here (not in a function) lj_ir.c:64: error: ‘log2’ undeclared here (not in a function) make[3]: *** [lj_ir.o] Error 1如果c功底很扎实,可以trace一把,也可能找到那些过期的设置,做一个屏蔽,我是最后果断放弃了。一来升级autoconf版本,二来调试这些边界问题,最关键的RedHat 5竟然默认没有安装Lua,这可是新版本中的标配。

所以安装新版还是直接在RedHat 6以上的版本使用为佳。

如果你使用sysbench抛出了MySQL链接库的问题,这个处理相对要常规一些。

# sysbench --test=oltp help sysbench: error while loading shared libraries: libmysqlclient.so.20: cannot open shared object file: No such file or directory我们可以添加一个软链接

ln -s /usr/local/mysql/lib/libmysqlclient.so.20 /usr/lib/ 如果没有生效,在ld.so.conf中配置生效即可

添加路径至/etc/ld.so.conf ldconfig

Lua的安装

Lua脚本是sysbench新版本中的标配,所以你得熟悉下基本的安装,而且Lua语言相对比较简洁,源代码几百KB,用c开发,非常适合作为一门语言的完整学习捷径,总体看了下感觉很不错。

wget -c http://www.lua.org/ftp/lua-5.2.0.tar.gz 解压后切换到目录下 make linux make install

压力参数前的准备

我们打算测试的MySQL默认的参数如下,如果猛然看看这个配置好像没有太大的问题,其实有几个,我们通过性能测试来说明。

port=3306 socket=/home/mysql/s1/s1.sock server_id=3306 gtid_mode=ON enforce_gtid_consistency=ON master_info_repository=TABLE relay_log_info_repository=TABLE binlog_checksum=NONE log_slave_updates=ON #log_bin=binlog binlog_format=ROWsysbench中原来的test选项已经失效。

# sysbench --test=oltp help WARNING: the --test option is deprecated. You can pass a script name or path on the command line without any options.

我们开启sysbench的测试,可以使用如下的命令生成数据。

sysbench /home/sysbench/sysbench-1.0.3/src/lua/oltp_read_write.lua --mysql-user=root --mysql-port=3306 --mysql-socket=/home/mysql/s1/s1.sock --mysql-host=localhost --mysql-db=sysbenchtest --tables=10 --table-size=5000000 --threads=30 --events=5000000 --report-interval=5 prepare 这里有几个地方要提一下,首先新版的sysbench需要指定一个Lua模板,在sysbench安装目录下自带了一批模板,src/lua目录的文件如下,我们选择读写的oltp模板。

bulk_insert.lua internal Makefile Makefile.am Makefile.in oltp_common.lua oltp_delete.lua oltp_insert.lua oltp_point_select.lua oltp_read_only.lua oltp_read_write.lua oltp_update_index.lua oltp_update_non_index.lua oltp_write_only.lua select_random_points.lua select_random_ranges.lua 原本的参数

--oltp-test-mode=complex已经失效,

--mysql-table-engine=innodb 选项也不存在 --oltp-num-tables=10 需要改为--tables=10 --oltp-table-size=5000000 需要改为--table-size=5000000

测试场景对比1

对于数据库是否开启binlog,开启前后对于数据库本身的性能影响到底有多大,这个我一直没有一个相对清晰的感受,决定逐步来测试一下,我首先设置了线程数为30,50,100,150为样本进行测试。

开启30个线程的测试。,对于50个,100个只需要调整--threads即可。

sysbench /home/sysbench/sysbench-1.0.3/src/lua/oltp_read_write.lua --mysql-user=root --mysql-port=3306 --mysql-socket=/home/mysql/s1/s1.sock --mysql-host=localhost --mysql-db=sysbenchtest --tables=10 --table-size=5000000 --threads=30 --report-interval=5 --time=300

run得到的结果类似下面的输出,每5秒钟输出一次,tps,qps这些一目了然。

我测试了3分钟之内(说实话时间有点短)。但是还能看出一些效果。对于线程30,线程50等的场景测试下,可以看到在线程100~150之间测试结果的数据结果有些不稳定,逐步呈现下降趋势。

然后我测试了开启binlog之后的数据。

这个数据可以基本看出线程100和线程150的TPS差别不大。

而是否开启binlog的差别在短时间内的比较来看,差别到底有多少?这样对比来看相对就清晰一些了。左边是未开启binlog,右边是开启之后的。

通过上面的测试我们可以看到一些瓶颈,而且在后期加压的时候,发现加不上去了,一个主要原因就在于支持的最大连接数不够。我们对此做了一个简单的优化,那就是调节innodb_buffer_pool_size,默认竟然是100多M,支持的连接数是151个。

调整innodb_buffer_pool_size为24G,支持的连接数为3000个,我们继续测试。

其它条件不变的情况下,TPS可以翻一倍,达到1200~1500,QPS为20000左右。

当然按照这种加压方式,当加压测试到线程数300就又扛不住了。所以通过这些测试能够马上发现很多潜在的问题。

FATAL: mysql_stmt_prepare() failed FATAL: MySQL error: 1461 "Can't create more than max_prepared_stmt_count statements (current value: 16382)" FATAL: `thread_init' function failed: /usr/local/share/sysbench/oltp_common.lua:282: SQL API error FATAL: mysql_stmt_prepare() failed

后续进行更多的测试,也会延长时间来得到一个相对更细致的报告。

本文分享自微信公众号 - 杨建荣的学习笔记(jianrong-notes),作者:杨建荣

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-03-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • CentOS7压力测试MGR

    最近在规划CentOS7版本中的MySQL测试情况,于是找了公司内部的虚拟机来做下模拟测试。

    jeanron100
  • MySQL压力测试中定制sysbench的Lua模板

    对于sysbench的定制,自己给自己定了一个小目标,但是实践的时候发现,难度比想象的要大很多。 都说Lua很简单,性能很不错,但是定制sysb...

    jeanron100
  • 最近的几个技术问题总结和答疑 (r8笔记第19天)

    笔记写了不少,有时候有的朋友问我几个关键字,我就会从脑海里进行搜索,凡是写过的,搜索一下总能找到,帮助了别人,提高了自己,何乐而不为。 但是笔记写了很多...

    jeanron100
  • mysqlbinlog浅析

    在mysql中,当我们开启了二进制日志,任意时间对数据库所做的更改,都会被记录到日志文件中,例如当我们添加了一个表或者update了一条数据,这些时...

    AsiaYe
  • Ubuntu16.04下安装mysql

    不设置将会提示错误信息:1103 -Host '192.168.1.233' is not allowed to connect to this MySQL s...

    易墨
  • MySQL安装教程

    链接:https://pan.baidu.com/s/1eKcAUi0ICyOG60XyS8PkDw 密码:xacu

    我被狗咬了
  • Windows10 zip安装 MySQL8.0.12

    主要是出在my.ini上面,要自己创建。在%MYSQL_HOME%下面新建一个文件my.ini,作为MySQL启动的配置文件。

    ydymz
  • mysql 主从复制

    Mysql的复制是一个异步复制的过程,从一个主(master)的复制到另一个备(salve)的。在主备之间实现复制过程主要有三个线程来完成,其中两个线程(sql...

    程序员同行者
  • AppScan扫描的测试报告结果,你有仔细分析过吗

    通过 IIS 6 引入的 HTTP 协议堆栈 (HTTP.sys) 错误地解析了特制的 HTTP 请求。因此,远程攻击者可能执行拒绝服务供给,并可在系统帐户的环...

    软件测试君
  • 记一次mysql主从同步因断电产生的不能同步问题 1236 and 1032

      项目新上线一个月,qa需要测试断电服务拉起,服务拉起成功后,发现mysql主从异常

    房上的猫

扫码关注云+社区

领取腾讯云代金券