首页
学习
活动
专区
工具
TVP
发布

idba

专栏作者
323
文章
514927
阅读量
44
订阅数
MySQL 8.0不再担心被垃圾SQL搞爆内存
MySQL 8.0.28开始,新增一个特性,支持监控统计并限制各个连接(会话)的内存消耗,避免大量用户连接因为执行垃圾SQL消耗过多内存,造成可能被OOM kill的风险。
用户1278550
2023-02-24
6700
Redis bigkey 故障案例分析
业务侧报 jedis 客户端无法和redis集群建立连接 ,SocketTimeoutException报错日志如下:
用户1278550
2022-12-07
4050
深入浅出 InnoDB Flushing
作为MySQL InnoDB IO 调优系列的第二篇, 第一篇文章 参见Give Love to Your SSDs – Reduce innodb_io_capacity_max !
用户1278550
2022-07-30
6720
MySQL8.0 InnoDB并行查询特性
MySQL经过多年的发展已然成为最流行的数据库,广泛用于互联网行业,并逐步向各个传统行业渗透。之所以流行,一方面是其优秀的高并发事务处理的能力,另一方面也得益于 MySQL 丰富的生态。MySQL 在处理 OLTP 场景下的短查询效果很好,但对于复杂大查询则能力有限。最直接一点就是,对于一个 SQL 语句,MySQL 最多只能使用一个 CPU 核来处理,在这种场景下无法发挥主机CPU多核的能力。MySQL 没有停滞不前,一直在发展,新推出的 8.0.14 版本第一次引入了并行查询特性,使得check table和select count(*) 类型的语句性能成倍提升。虽然目前使用场景还比较有限,但后续的发展值得期待。
用户1278550
2022-05-17
1.3K0
Postgres 分布式数据库
聊起分布式数据库,大家第一印象估计是 谷歌的 Spanner ,以及 TiDB。其实还有另外一种分布式 Postgres-XC (目前已经迭代到 PostgreSQL-X2 ),Postgres-XC 数据库系统主要是基于水平可伸缩的share nothing 架构,支持全局事务,表分区,复制以及查询计划在各个节点并行执行。
用户1278550
2022-05-17
1.9K0
工具|快速部署MySQL测试环境利器dbdeployer
之前写过一篇文章介绍 sandbox 快速部署 不同版本的 MySQL 测试环境的文章,这两天测试8.0 的最新版本,使用sandbox的时候软件做了提示,sandbox已经不再维护而是推荐使用 dbdeployer 来部署。
用户1278550
2022-04-01
5940
必须了解的MySQL三大日志:binlog、redo log和undo log
日志是MySQL数据库的重要组成部分,记录着数据库运行期间各种状态信息。MySQL日志主要包括错误日志、查询日志、慢查询日志、事务日志、二进制日志几大类。作为开发,我们重点需要关注的是二进制日志(binlog)和事务日志(包括redo log和undo log),本文接下来会详细介绍这三种日志。
用户1278550
2021-12-15
3580
工具| IO测试fio详解
FIO是一款开源的 I/O 压力测试工具,主要是用来测试磁盘的IO性能。它可以支持多种不同的I/O引擎。
用户1278550
2021-11-26
5.1K0
MySQL 8.0.18 count(*) 比较慢的bug
一个之前的同事描述了他遇到的性能案例,两个数据库分别是 mysql 5.7 和 mysql 8.0 执行 select count(*) from table ,5.7 版本的性能明显好于 8.0 版本的。而且数据量 5.7 版本的300w ,8.0 版本的115w 左右。配置是RDS 1core2g .
用户1278550
2021-10-27
1K0
工具| 专门"造假"的faker
因为某个项目需要构造数亿级别的数据,而且要求数据必须符合一定的业务属性,比如 用户数据,姓名,地址,手机号(唯一索引),年龄 ;商品数据 商品名称,价格,商品id 等待。另外数据内容要具有一定的随机性。
用户1278550
2021-09-07
7010
Linux 标准大页和透明大页
Huge pages ( 标准大页 ) 和 Transparent Huge pages( 透明大页 )
用户1278550
2021-07-16
4.7K0
TiDB|写冲突场景下的悲观/乐观事务模型选择
原文转自 https://asktug.com/t/topic/93470 作者 代晓磊_360
用户1278550
2021-06-16
7540
高可用 | Xenon:后 MHA 时代的选择
在 MySQL(5.5 及以下)传统复制的时代,MHA(Master High Availability)在 MySQL 高可用应用中非常成熟。在 MySQL(5.6)及 GTID 时代开启以后,MHA 却没有与新的 MySQL 一起顺应时潮。
用户1278550
2021-06-16
9930
有赞TCP网络编程最佳实践
本文是根据有赞中间件团队多年的TCP网络编程实践经验总结而来,目的是为了避免应用因各种网络异常而出现各种非预期行为,从而造成非预期的影响,影响系统稳定性与可靠性。
用户1278550
2021-06-16
7800
说说 MySQL 子查询
前两天开发找DBA解决一个含有子查询的慢sql,我们通过将其修改为关联查询和添加索引解决。考虑到 大多数开发并没有准确的理解 MySQL 的子查询执行原理。本文介绍如何解决子查询慢查的思路。
用户1278550
2021-04-25
2.7K0
Pingmesh| 一种大规模数据中心网络质量检测工具
在我们内部产品中,一直有关于网络性能数据监控需求,我们之前是直接使用 ping 命令收集结果,每台服务器去 ping (N-1) 台,也就是 N^2 的复杂度,稳定性和性能都存在一些问题,最近打算对这部分进行重写,在重新调研期间看到了 Pingmesh 这篇论文,Pingmesh 是微软用来监控数据中心网络情况而开发的软件,通过阅读这篇论文来学习下他们是怎么做的。
用户1278550
2021-01-28
6.8K0
可计算存储: 透明压缩,数据库IO模型和SSD寿命
1990诞生的 Andy and Bill‘Law 依然有效,伴着随着数据量的指数级增长,在数据存储和处理领域愈演愈烈。“在未来的10年中,企业的变化会超过它在过去50年中的总变化。”这是比尔盖茨在1999年著作《未来时速》中的文字。我们很难逐一列举所有的关键变化,但在存储领域也遵循这个预测。比如最近一直提到的华为天才少年,张霁研究磁盘和数据库相关的智能优化,姚婷研究新型存储介质和键值存储系统,左鹏飞研究非易失性内存系统,都与存储领域有直接关系,似乎也说明存储领域的变化还在不断发生。
用户1278550
2020-09-21
1.5K0
作为DBA,你有必要了解一下tcpdump
tcpdump 是一款强大的网络抓包工具,dump the traffice on anetwork,对网络上的数据包进行截获的包分析工具。熟练掌握tcpdump 可以方便我们跟踪解决网络丢包,重传,数据库链路调用等问题。
用户1278550
2020-08-24
6100
MySQL 8.0 之原子DDL
听到原子这个关键字大家是不是联想到事务的ACID的原子性?两者相似,事务/语句执行要么全部成功,要么全部失败。MySQL 8.0 之前的版本 DDL 是非原子性的,对于多条sql构成的ddl语句比如 rename table t1 to t1_bak,t2 to t2_bak; 执行过程中如果遇到系统异常crash,有可能出现表t1被rename,但是t2没有被rename的情况。出现该情况的原因就是MySQL不支持原子的DDL。
用户1278550
2020-08-21
9840
ClickHouse单机部署以及从MySQL增量同步数据
随着数据量的上升,OLAP一直是被讨论的话题,虽然druid,kylin能够解决OLAP问题,但是druid,kylin也是需要和hadoop全家桶一起用的,异常的笨重,再说我也搞不定,那只能找我能搞定的技术。故引进clickhouse,关于clickhouse在17年本人就开始关注,并且写了一些入门的介绍,直到19年clickhouse功能慢慢的丰富才又慢慢的关注,并且编写了同步程序,把mysql数据实时同步到clickhouse,并且最终在线上使用起来。
用户1278550
2020-05-13
5.3K0
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档