mysql 高并发更新计数问题

问题:功能为链接的点击计数,其他两个计数更新 还有两个内容表的插入,只插入链接对应的id,分4个库,共128个表,mysql每天有5000万次插入和5000万次更新操作,压力负载过大,需要想方案,对计数更新做合并处理,或者加cache,一定时间后flush到磁盘DB。

目前有batch处理程序,使用java.sql包原生类,但执行一段后就出现 java.sql.BatchUpdateException: Deadlock found when trying to get lock; try restarting transaction 错误

解决进行中,未完成。

解决步骤

show global status like 'Com%' 查询当前db的crud次数

mysqladmin -htestdb -P3306 -utest -p -S /tmp/mysql.sock -r -i 10 extended-status | egrep "Com_select | Com_insert|Com_update"

统计每十秒的查询 插入 更新次数

|Com_insert | 5210 | | Com_insert_select | 0 | | Com_select | 2033 | | Com_update | 0 | | Com_update_multi | 0 |

插入时出现 java.sql.BatchUpdateException: The table 'xxx' is full 有说是 tmp_table_size参数和max_heap_table_size参数问题

查看了硬盘发现是硬盘空间不足,100%使用,删除无用文件

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏java架构师

MVC几种找不到资源的问题解决办法

在MVC中,controller中的Action和View中的.cshtml文件名称有一个对应的关系。 当不对应时,有以下几种情况发生: 一、找不到视图的错误 ...

2566
来自专栏Android干货

xUtils类库的使用

2634
来自专栏月牙寂

k8s源码分析-----kubectl(3)主要框架

第一时间获取文章,可以关注本人公众号 月牙寂道长 yueyajidaozhang

6014
来自专栏Android开发指南

6.网络编程

32913
来自专栏向治洪

LeakCanary使用手册

demo 一个非常简单的 LeakCanary demo: https://github.com/liaohuqiu/leakcanary-demo 开始使用 ...

2578
来自专栏佳爷的后花媛

Android基础面试题

第一部分(Part1)Android基础测试 共22题(全部单选,每题2分,总分44分 ) 1、关于在Activity生命周期中的各个方法在不同状态下的调用顺...

2212
来自专栏我的博客

安卓开发之调试程序

一、DDMS中LogCat(这样就能调试程序了) 代码下方显示LogCat,windows/show view/other选中logcat点击ok就会在代码下面...

3528
来自专栏技术专栏

SpringBoot+IDEA 热部署

2012
来自专栏移动端周边技术扩展

iOS性能优化xcode -> open developer tool - > Instuments 黄色基本和内存有关

1934
来自专栏流媒体人生

Windows CE 系统进程外组件应用开发

这篇文章说明了如何使用 WindowS CE 6.0 系统的 DCOM ,开发 com 服务进程。向客户端提供跨进程的 COM 组件服务,以及自定义接口代理 /...

1062

扫码关注云+社区