专栏首页跨平台全栈俱乐部Mysql写入频繁,怎么破?

Mysql写入频繁,怎么破?

Mysql在写入压力很大,怎么办?

  • 高并发下的性能最大的问题,大都在数据库,以前我们做二十万超级群,mongodb每个月都会出事故.
  • 我们聊聊,高并发下如何缓解mysql的压力
  • ⚠️:mysql是锁锁表不锁库,sqlite是锁库不锁表

环境准备

  • Mac
  • mysql
  • navicat
  • wrk压测工具
  • node.js环境

下载wrk

brew install wrk

  • 如果这里卡住,可以调整
`替换brew.git:
cd "$(brew --repo)"
git remote set-url origin https://mirrors.ustc.edu.cn/brew.git
替换homebrew-core.git:
cd "$(brew --repo)/Library/Taps/homebrew/homebrew-core"
git remote set-url origin https://mirrors.ustc.edu.cn/homebrew-core.git` 
  • 再执行一次brew install wrk即可

使用Node.js连接mysql

  • 先准备一个执行sql语句函数
`const mysql = require('mysql');
const { MYSQL_CONF } = require('./config');

const con = mysql.createConnection(MYSQL_CONF);

//建立连接
con.connect();

//统一执行sql的方法
function exec(sql) {
    const promise = new Promise((resolve, reject) => {
        con.query(sql, (error, result) => {
            if (error) {
                reject(error);
            }
            resolve(result);
        });
    });

    return promise;
}

//关闭连接
function kill() {
    con.end();
}

module.exports = { exec, kill };` 
  • 再准备一个配置文件 config.js(可以根据环境变量区分配置)
`//获取环境变量
const env = process.env.NODE_ENV;
  
let MYSQL_CONF;

//开发环境的配置
MYSQL_CONF = {
    host: 'localhost',
    user: 'root',
    password: '123456',
    port: '3306',
    database: 'blog',
    socketPath: '/tmp/mysql.sock',
};

module.exports = { MYSQL_CONF };` 
  • 如上所示,跑起来
  • 首先创建测试表
`exec('CREATE TABLE IF NOT EXISTS TEST_WRITE(first_column INT , second_column VARCHAR(100));')` 

![](https://imgkr.cn-bj.ufileos.com/89f03976-a79d-4242-bdf0-090a53f6438c.png)
  • 通过可视化工具Navicat可以看到表已经创建成功

开始模拟写入

  • 先写一个接口,用来模拟用户请求,写入数据库
`app.get('/test', (req, res) => {
    exec("INSERT INTO first_table(first_column, second_column) VALUES(1, 'aaa');");
    res.json(success({ errcode: 0, data: {} }));
});` 

介绍下wrk

  • wrk是一个用来做HTTP benchmark测试的工具。可以产生显著的压力。相比于Apache ab功能更为强大,可以使用lua脚本来支持更为复杂的测试场景,例如PUT请求等。在对于Restful架构的API接口来说,测试起来更加便捷。
  • 使用方法
`使用方法: wrk <选项> <被测HTTP服务的URL>                            
  Options:                                            
    -c, --connections <N>  跟服务器建立并保持的TCP连接数量  
    -d, --duration    <T>  压测时间           
    -t, --threads     <N>  使用多少个线程进行压测   
                                                      
    -s, --script      <S>  指定Lua脚本路径       
    -H, --header      <H>  为每一个HTTP请求添加HTTP头      
        --latency          在压测结束后,打印延迟统计信息   
        --timeout     <T>  超时时间     
    -v, --version          打印正在使用的wrk的详细版本信息
                                                      
  <N>代表数字参数,支持国际单位 (1k, 1M, 1G)
  <T>代表时间参数,支持时间单位 (2s, 2m, 2h)` 
  • 目前我们服务跑在本地http://localhost://8080
  • 测试下
`wrk -t8 -c500 -d2s --latency "http://localhost:8080/test"` 
  • 采用8个线程,500个长链接,压测2秒
  • 结果:
`Running 2s test @ http://localhost:8080/test
  8 threads and 500 connections
  Thread Stats   Avg      Stdev     Max   +/- Stdev
    Latency    40.70ms    9.60ms  83.48ms   66.26%
    Req/Sec   640.89    328.89     1.43k    64.29%
  Latency Distribution
     50%   39.26ms
     75%   46.33ms
     90%   54.32ms
     99%   65.23ms
  8980 requests in 2.08s, 3.13MB read
  Socket errors: connect 253, read 201, write 0, timeout 0
Requests/sec:   4321.60
Transfer/sec:      1.50MB` 
  • 2s内完成了8980个请求,3.13mb的数据读取
  • 当然你也可以用lua脚本个性化测试,这里不做过度的讲解,有兴趣可以去学习下
  • 数据库结果,写入成功

加大压力测试

  • 加大压力测试
`wrk -t15 -c1000 -d30s --latency "http://localhost:8080/test"` 
  • 此时cpu打到了25%,当然我这是一台Mac pro,如果是普通的机器估计此时已经...
  • 压测结果:
`Running 30s test @ http://localhost:8080/test
  15 threads and 1000 connections
              (平均值) (标准差)(最大值)(正负一个标准差所占比例)
  Thread Stats   Avg      Stdev     Max   +/- Stdev
   (延迟)
    Latency    35.32ms   17.38ms 345.78ms   96.45%
    Req/Sec     0.95k   661.40     2.38k    54.50%
  Latency Distribution
     50%   33.36ms
     75%   37.61ms
     90%   42.49ms
     99%   76.00ms
  197231 requests in 30.09s, 68.65MB read
  Socket errors: connect 754, read 188, write 0, timeout 0
Requests/sec:   6554.26
Transfer/sec:      2.28MB` 
  • wrk使用方便,结果清晰。并且因为非阻塞IO的使用,可以在普通的测试机上创建出大量的连接,从而达到较好的压测效果。
  • 当我继续调大压测的值时,出现了OOM的情况,而且我的Node.js版本还是12.x版本.
  • 此时我的表字段很少,而且都是非常简单的数据,读写也没有同时进行,压力也不大,但是却先出现OOM了。

这里说明,我们的这种直接写入是有问题的,这样长时间的高频直接写入,即使数据库还能扛住,但是会很容易出现OOM,此时应该需要消息队列流量削峰,限流,也可以事务写入,但是事务写入如果失败,就默认全部失败...

数据库什么时候会出现锁库?

  • 读写同时进行,高频耗时....
  • 这个数据库我也不是理解很透彻

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 使用React和Node.js制作音乐类App的一次总结

    Peter谭金杰
  • React的移动端和PC端生态圈的使用汇总

    由于React的生态极为庞大,本文内容部分来自一些别人的汇总,至于原文只要还是能找到的,我都会贴上地址,谢谢前期贡献的作者,如果有没有被汇总到的,欢迎在下面补充...

    Peter谭金杰
  • Node.js结合ProtoBuffer,从零实现一个redis! [一万字]

    Peter谭金杰
  • 区块链游戏,在未来能否霸占10亿玩家市场?

    作为时下最为热门的颠覆性技术,区块链以其“去中心化”的核心理念,正在为世界互联网格局书写新的篇章,在目前实体经济趋向饱和、传统行业日益固化的前提下,区块链为企业...

    区块链领域
  • 详解三道一维的动态规划算法题

    在一条直线上,有n个房屋,每个房屋中有数量不等的财宝,有一个盗 贼希望从房屋中盗取财宝,由于房屋中有报警器,如果同时从相邻的两个房屋中盗取财宝就会触发报警器。问...

    帅地
  • Vue中的$set的使用

    在我们使用vue进行开发的过程中,可能会遇到一种情况:当生成vue实例后,当再次给数据赋值时,有时候并不会自动更新到视图上去; 当我们去看vue文档的时候,会发...

    李文杨
  • Softmax的理解与应用

    Softmax在机器学习中有非常广泛的应用,但是刚刚接触机器学习的人可能对Softmax的特点以及好处并不理解,其实你了解了以后就会发现,Softmax计算简单...

    AngelNH
  • 技术派:谁说API网关只能集成REST APIs?

    魏新宇
  • 机器学习之Softmax回归模型

    Softmax在机器学习中有非常广泛的应用,但是刚刚接触机器学习的人可能对Softmax的特点以及好处并不理解,其实你了解了以后就会发现,Softmax计算简单...

    week
  • Python模块——doctest

    有时候会出现代码已经改变但docstring没有更新的情况,在docstring中加入doctest可以尽量避免这种情况的发生。

    py3study

扫码关注云+社区

领取腾讯云代金券