首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

日志信息记录|全方位认识 mysql 系统库

在上一期《复制信息记录|全方位认识 mysql 系统库》中,我们详细介绍了mysql系统库中的复制信息记录,本期我们将为大家带来系列第八篇《日志记录等混杂|全方位认识 mysql 系统库》,下面请跟随我们一起开始...日志信息记录 01 1.1....日志实现具有以下特征: 通常,日志的主要目的是为程序提供一个访问接口,以便查看Server内的SQL运行情况,所以,日志记录存放在中比存放在磁盘文件中会更加方便,因为存储在中可以远程访问这些日志记录...该中的信息在SQL开始执行时就会进行记录,而不是等待SQL执行结束才记录。 下面是该中存储的信息内容。...PS: CONNECTION字符串方式不会在mysql.servers中添加记录

1.2K10

MYSQL 的手动更新统计分析记录

MYSQL 5.6 开始,统计分析的信息会固化在系统的存储中,通过下面的语句可以查看我们相隔的开关是否打开。...默认抽样的页数是8 pages,我们可以改动默认抽样的页数,来达到提高准确率的功效。但同样付出的代价就是,在抽样时的消耗的I/O 和相关资源。...而我们可以进行一个测试,关于MYSQL的索引和真是的信息之间是否有差距。...其实我们已经操作了analyze table 但是我们依然没有得到准确的数字,在平时这可能不会有什么问题,但如果是较大的例如上千万的,如果这方面错的比较错,会对执行计划产生问题,这时候可能就需要我们通过手动的方式来更新某些记录...update mysql.innodb_table_stats set n_rows = 300024 where database_name = 'employees' and table_name

3.8K30

时区信息记录|全方位认识 mysql 系统库

在上一期《优化器成本记录|全方位认识 mysql 系统库》中,我们详细介绍了mysql 系统库中的优化器成本记录,本期我们将为大家带来系列第六篇《时区信息记录|全方位认识 mysql 系统库》,下面请跟随我们一起开始...自带的mysql_tzinfo_to_sql程序来填充时区。...命令会读取您系统的时区文件并生成SQL语句来插入到MySQL的时区中。...02 时区信息记录详解 2.1. time_zone 该提供查询时区ID和跳秒之间的映射关系数据。 下面是该中存储的信息内容(需要手工导入时区数据信息到数据库才有数据)。...2.2. time_zone_leap_second 该提供查询跳秒机器修正值信息,该中的信息与time_zone_transition中的类似,但time_zone_transition中还记录了时区

1.5K10

20亿条记录MySQL迁移实战

我们的一个客户遇到了一个 MySQL 问题,他们有一张大,这张有 20 多亿条记录,而且还在不断增加。如果不更换基础设施,就有磁盘空间被耗尽的风险,最终可能会破坏整个应用程序。...而且,这么大的还存在其他问题:糟糕的查询性能、糟糕的模式设计,因为记录太多而找不到简单的方法来进行数据分析。...MySQL 服务器版本太老了,Debezium 不支持,升级 MySQL 升级也不是办法。...因此,我们用新 schema 创建了新,并使用来自 Kafka 的数据来填充新的分区。在迁移了所有记录之后,我们部署了新版本的应用程序,它向新进行插入,并删除了旧表,以便回收空间。...我开发了一个新的 Kafka 消费者,它将过滤掉不需要的记录,并将需要留下的记录插入到另一张。我们把它叫作整理,如下所示。

4.5K10

记录一次MySQL拆分和迁移

背景# 最近遇到一个关于MySQL过大的问题,该存放的主要是日志文件,且其中有一个字段存放的数据过大,导致占用空间过大以及查询效率的降低,这种设计其实是不合理的。...目前该占用1.2T容量,数据量超过3亿条,而这个RDS数据库的容量总共就2T,且由于种种原因无法扩容,迫不得已急需给出解决方案。 2....解决方案# 根据上面的背景,可得出以下这些问题,也给出了解决方案: 问题 解决方法 1 某字段占用空间较大,在MySQL中为text类型,存储的是json格式的数据,该字段平均占用空间为5KB 对字段进行压缩...,把json格式压缩成字节序列,压缩后可节省5倍空间左右 2 单数据量过大,而我们的业务是基本只取本年的数据,该中很多不使用的数据导致查询效率降低 对该按年份分,本年的数据为热数据,之前的数据为冷数据...具体做法: 每次查询1万条数据 查询的时候只查询需要的字段,即id字段和需要压缩的字段,id字段为主键,采用主键索引 采用分页查询的方式,即每次查询完记录最后一条数据的id,下一次查询直接在这个id的基础上查询

1.3K10

统计信息记录|全方位认识 mysql 系统库

在上一期《数据库对象信息记录|全方位认识 mysql 系统库》中,我们详细介绍了mysql系统库中的元数据记录,本期我们将为大家带来系列第四篇《统计信息记录|全方位认识 mysql 系统库》,下面请跟随我们一起开始...持久统计信息存储在mysql.innodb_table_stats和mysql.innodb_index_stats中,前者存放结构、数据行相关的统计信息,后者存放索引值相关的统计信息。...对于从中执行删除行的操作的未提交事务,InnoDB在估算行和索引统计信息时会忽略这些被打上删除标记的记录,所以这可能会导致对该执行并行查询的其他事务的执行计划并不精确。...table_name:名、分区名或子分区名称。 last_update:表示InnoDB上次更新此统计信息行的时间戳。 n_rows:中的估算数据记录行数。...即对于非唯一索引在该记录的统计信息,InnoDB会附加主键列。

1K30

复制信息记录|全方位认识 mysql 系统库

在上一期《时区信息记录|全方位认识 mysql 系统库》中,我们详细介绍了mysql系统库中的时区信息记录,本期我们将为大家带来系列第七篇《复制信息记录|全方位认识 mysql 系统库》,下面请跟随我们一起开始...* 将本次执行检查点的位置记录mysql.slave_relay_log_info中,作为全局binlog应用的位置。...字段计算出自己哪些事务没有执行过,然后通过每个worker线程在mysql.slave_worker_info记录的其他checkpoint字段信息转换为对应的全局检查点的位置。...* 该中的记录在执行reset master语句时会被清空。 该中的记录周期性执行压缩示例。...# 假设中有如下实时记录的GTID记录 mysql> SELECT * FROM mysql.gtid_executed; + ------------------------------------

93230

优化器成本记录|全方位认识 mysql 系统库

在上一期《统计信息记录|全方位认识 mysql 系统库》中,我们详细介绍了mysql系统库中的统计信息记录,本期我们将为大家带来系列第五篇《优化器成本记录|全方位认识 mysql 系统库》,下面请跟随我们一起开始...02 优化器成本记录详解 2.1. engine_cost 该提供查询针对特定存储引擎的操作需要使用到的的优化器成本估算常量值。 下面是该中存储的信息内容。...该记录的有效成本常量值如下: io_block_read_cost(默认1.0):从磁盘读取索引或数据块的成本。...记录的内容即为Server识别的成本估算常量,如下: disk_temptable_create_cost(默认为40.0),disk_temptable_row_cost(默认为1.0):基于磁盘的内部临时...增加这些值会增加使用内部内存临时的成本估计值,即会使得优化器偏向于更少使用它。 row_evaluate_cost(默认值为0.2):评估记录行的成本常量。

82820

小白学习MySQL - “投机取巧”统计记录

同事提了个统计需求,MySQL某个库60%的都有个isdel字段(char(1)),值是0或1,现在要检索该数据库所有存在isdel字段且isdel=‘0’的记录数,举个例子,执行如下的count...的量就通过dba_tab_modifications(数据字典基是mon_mods、mon_mods_all,DML操作记录到mon_mods,然后merge到mon_mods_all)来统计的,他会记录数据库的...(2) 依次执行count(*),统计每张记录数。 (3) 将(2)中得到的名和记录数,存储到另外一张中,作为检索用途。 我们按照倒序,依次操作下, 1....(2) 如果(1)的num>0,则将名、记录数、插入时间,存入table_count。...检索table_count,此时记录,就是所有isdel='0',且count(*)>0的名和对应的记录数了, select * from table_count; 其实整个过程,就是我们惯性思维能考虑到的

4.2K40

mysql分区_MySQL分区分

mysql中有一种机制是锁定和行锁定,是为了保证数据的完整性。锁定表示你们都不能对这张进行操作,必须等我对表操作完才行。...2、MySQL是将一个大按照一定的规则分解成多张具有独立存储空间的实体表,每个都对应三个文件,MYD数据文件,.MYI索引文件,.frm结构文件。...#创建两个分结构必须和上面完整的结构一致 mysql> create table tb_member1 like member; mysql> create table tb_member2 like...举个简单例子:一个包含十年发票记录可以被分区为十个不同的分区,每个分区包含的是其中一年的记录。...,当id列的值小于3将会插入到p0分区,大于3小于6的记录将会插入到p1分区,以此类推,所有id值大于12的记录都会插入到p4分区。

9.8K20

SQL-记录历史

很多时候,都需要对数据进行历史记录。比如每修改一次表单,之前的表单数据都需要计入历史。当表单比较多的时候,记录历史是一件比较麻烦的事情。又要建日志,又要写存储过程,又要写页面逻辑等等。...最近做项目时碰到了,要求每次审核、退回等操作时就要记录历史。于是,笔者就想到了以下方案。在此与大家分享了,如果有更合适的或合理的建议,请回复本帖。...1)创建日志 一个一个建是一件烦躁的事,而且还容易出错。那么,以下存储过程就能批量建了,还添加了LogCreateDate、LogDefaultFlag、LogPTID这3个字段。...3)记录日志 日志有了,还得记录日志呢。为每个写个存储过程会过于繁琐,而且改动了就得跟着改动。就是码农也吃不消。...========================================= -- Author: LWQ -- Create date: 2011-6-29 -- Description: 记录日志

56030

数据库对象信息记录|全方位认识 mysql 系统库

在上一期《访问权限控制系统|全方位认识 mysql 系统库》中,我们结合MySQL的权限详细介绍了MySQL 的访问权限控制系统,本期我们将为大家带来系列第三篇《元数据记录|全方位认识 mysql...2、proc 该提供查询与information_schema.routines类似的内容(早期版本主要用户记录存储过程),但information_schema.routines表记录的更加详细。...3、event 该提供查询计划任务相关的事件信息,该中的信息与information_schema.events相同,且information_schema.events中记录的信息更加详细。...4、func 该提供查询与information_schema.routines类似的内容(早期版本主要用于记录用户自定义函数),但information_schema.routines表记录的更加详细...另外,该还专用于记录从so插件库中安装的函数信息。 下面是该中存储的信息内容(这里列出的示例内容为从企业版so插件中安装的UDF函数)。

88550
领券