专栏首页程序员的成长之路MySQL 优化实战记录

MySQL 优化实战记录

阅读本文大概需要 2 分钟。

背景

本次SQL优化是针对javaweb中的表格查询做的。

部分网络架构图

业务简单说明

N个机台将业务数据发送至服务器,服务器程序将数据入库至MySQL数据库。服务器中的javaweb程序将数据展示到网页上供用户查看。

原数据库设计

1、windows单机主从分离

2、已分表分库,按年分库,按天分表

3、每张表大概20w左右的数据

原查询效率

3天数据查询70-80s

目标

3-5s

业务缺陷

无法使用sql分页,只能用java做分页。

问题排查

前台慢 or 后台慢

1、如果你配置了druid,可在druid页面中直接查看sql执行时间和uri请求时间

2、在后台代码中用System.currentTimeMillis计算时间差。

结论 : 后台慢,且查询sql慢

sql有什么问题

1、sql拼接过长,达到了3000行,有的甚至到8000行,大多都是union all的操作,且有不必要的嵌套查询和查询了不必要的字段

2、利用explain查看执行计划,where条件中除时间外只有一个字段用到了索引

备注 : 因优化完了,之前的sql实在找不到了,这里只能YY了。

查询优化

去除不必要的字段

效果没那么明显

去除不必要的嵌套查询

效果没那么明显

分解sql

将union all的操作分解,例如(一个union all的sql也很长)

将如上sql分解成若干个sql去执行,最终汇总数据,最后快了20s左右。

将分解的sql异步执行

利用java异步编程的操作,将分解的sql异步执行并最终汇总数据。这里用到了CountDownLatch和ExecutorService,示例代码如下:

结果又快了20-30s

优化MySQL配置

以下是我的配置示例。加了skip-name-resolve,快了4-5s。其他配置自行断定

根据业务,再加上筛选条件

快4-5s

将where条件中除时间条件外的字段建立联合索引

效果没那么明显

将where条件中索引条件使用inner join的方式去关联

针对这条,我自身觉得很诧异。原sql,b为索引

应该之前有union all,union all是一个一个的执行,最后汇总的结果。修改为

结果快了3-4s

性能瓶颈

根据以上操作,3天查询效率已经达到了8s左右,再也快不了了。查看mysql的cpu使用率和内存使用率都不高,到底为什么查这么慢了,3天最多才60w数据,关联的也都是一些字典表,不至于如此。继续根据网上提供的资料,一系列骚操作,基本没用,没辙。

环境对比

因分析过sql优化已经ok了,试想是不是磁盘读写问题。将优化过的程序,分别部署于不同的现场环境。一个有ssd,一个没有ssd。发现查询效率悬殊。用软件检测过发现ssd读写速度在700-800M/s,普通机械硬盘读写在70-80M/s。

优化结果及结论

优化结果:达到预期。

优化结论:sql优化不仅仅是对sql本身的优化,还取决于本身硬件条件,其他应用的影响,外加自身代码的优化。

小结

优化的过程是自身的一个历练和考验,珍惜这种机会,不做只写业务代码的程序员。希望以上可以有助于你的思考,不足之处望指正。

原文链接: https://my.oschina.net/xiaozhutefannao/blog/2243432

·END·

程序员的成长之路

路虽远,行则必至

微信ID:cxydczzl

往期精彩回顾

程序员接私活的7大平台利器

Java程序员的成长之路

白话TCP为什么需要进行三次握手

Java性能优化的50个细节(珍藏版)

设计电商平台优惠券系统

一个对话让你明白架构师是做什么的?

教你一招用 IDE 编程提升效率的骚操作!

送给程序员们的经典电子书大礼包

原文链接:https://mp.weixin.qq.com/s?__biz=MzUyNDkzNzczNQ==&mid=2247486181&idx=1&sn=dbc34220208d2041ed1aac6273e8eb97&chksm=fa24f58dcd537c9b43973e0ddd8a49feec0590f01614ee1cc1958df0e00a98251eeea47759a2&token=1918549372&lang=zh_CN#rd

我来说两句

0 条评论
登录 后参与评论

相关文章

  • MySQL 优化实战记录

    N个机台将业务数据发送至服务器,服务器程序将数据入库至MySQL数据库。服务器中的javaweb程序将数据展示到网页上供用户查看。

    良月柒
  • 工作发狂:Mybatis 中$和#千万不要乱用!

    这是一次代码优化过程中发现的问题,在功能优化后发现部分数据查不到出来了,问题就在于一条sql上的#和$。

    良月柒
  • 工作发狂:Mybatis 中$和#千万不要乱用!

    这是一次代码优化过程中发现的问题,在功能优化后发现部分数据查不到出来了,问题就在于一条sql上的#和$。

    良月柒
  • MySQL 优化实战记录

    N个机台将业务数据发送至服务器,服务器程序将数据入库至MySQL数据库。服务器中的javaweb程序将数据展示到网页上供用户查看。

    良月柒
  • sql格式化工具

    该工具支持oracle、mysql、sql server等关系型数据库,能让你看到sql美化后的清晰的结构,可运用于对复杂SQL语句的分析或者是程序代码优化上,...

    ixiaoyang8
  • 使用PHP的PDO_Mysql扩展有效避免sql注入

    首先,什么是sql注入? 用大白话说就是:当一个人在访问你的应用时,需要输入,他的输入是一些特殊的字符,你没有对输入进行过滤处理导致他的输入改变了你的sql语...

    luxixing
  • JDBC系列:(3)使用Prepared

    用户2398817
  • 浅谈pl/sql (r3笔记第14天)

    关于pl/sql,可能大家熟悉而又陌生,熟悉是因为大家在工作中老是写sql,如果稍微改动一些,加入begin,end和控制结构,就是pl/sql了。:) 今...

    jeanron100
  • JDBC完成修改

    使用流程不变: 导入jar包 加载驱动 创建连接对象 创建sql命名对象 创建sql命令 执行sql命令 关闭资源

    葆宁
  • Oracle巡检脚本:ORAWatcher.sh

    Alfred Zhao

扫码关注云+社区

领取腾讯云代金券