学习
实践
活动
工具
TVP
写文章

MYSQL 数据库归档归档设计

2 数据通过MYSQL dump 或者其他的备份方式,将数据备份出来,在将数据恢复到数据归档库中,然后将备份的数据直接手动清理掉,这样的做法速度也很快,对业务的影响也比较小,基本上可以算是透明的方式了 下面就是一个MYSQL 针对一个数据库表归档的案例(这个案例也是有缺陷的,但目前是秉承着够用就好,以及时间成本的原则) 首先设计一个归档要考虑的问题如下 1 归档表的大小,以及每日最大,或最小的归档数据量 以下以最简单的自动化的方案来讲 下图是基于案例来讲的 因为数据库是MYSQL 所以考虑了归档一次是多大的批量,避免归档数据量过大的时候将生产库hang 死,另外配置表主要的功能是有两个 1 限制一次拷贝和清理的数据量 这样归档有没有缺点,当然有,缺点马上就可以说出几个 1 为什么还要在本地机归档数据,不应该是传送到其他机器上吗 2 为什么不设置每次归档的数量限制(每次限制操作的行数),这对MYSQL不是很用吗,为什么要写死 3 为什么要用MYSQL 存储过程来做,使用python不是更灵活 其实一言难尽,都和需求有关,所以很多设计出来的东西,外人一看一堆毛病,如果你进入到他的内部,一段时间估计你就懂得为什么会设计出这样或那样的东西

2.1K30

自动清理Oracle归档日志

Oracle的归档模式( ARCHIVELOG ) 一般用于数据库的复制和备份,相对重要的企业应用都会打开该模式,每当执行了增删改的操作,Oracle就会自动归档,当归档分区剩余空间不足90%时,Oracle 的服务将不可用,这时就需要清理归档日志。 清理归档日志的脚本 rmanclear.sh: #!

1.7K10
  • 广告
    关闭

    年末·限时回馈

    热卖云产品年终特惠,2核2G轻量应用服务器6.58元/月起,更多上云必备产品助力您轻松上云

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    【笔记归档mysql学习笔记

    mysql学习笔记》 1.打开与关闭mysql mysql -uXXX -pXXX #其中XXX为用户名和密码 #成功进入后提示符变为 which mysqld 查看路径 配置文件 : /etc/my.cnf 2.使用某数据库 use 库名 #mysql安装完成后默认建立mysql 版本 #查看mysql的连接权限 select host,user from mysql.user order by user; #查看某主机用户有哪些权限 $ mysql < batch-file # 基本结构 batch-file为mysql脚本 $ mysql -h host -u user -pxxx <batch-file --no-data -d 14 mysqlbinlog 日志与数据恢复(略) 15 修改密码 安装好的Mysql首次登录后, mysql> update mysql.user

    23520

    MySQL归档 pt-archiver 工具

    删除或归档一张大表,导出文件等,可以进行主从同步数据 [mysql@mysqlt1 bin]$ . 增加该值可以提升归档性能。 [mysql@mysqlt1 bin]$. ,源表不删除,批量插入 [mysql@mysqlt1 bin]$ . 10常用的命令:归档到另一个数据库,源表删除,批量删除和插入,每1000次修改进行提交。跳过错误并且指定字符集连接 [mysql@mysqlt1 bin]$.

    13500

    WinCC 中使用备份归档,并在需要时自动链接备份归档

    1 概述 在工业生产中,WinCC 归档的生产历史数据起到很重要的作用。 一部分历史数据可以反映设备运行状态的变化,一部分历史数据可以用来分析某些参数改变对生产效果的影响,还有一部分数据用来进行生产故障分析。所以需要尽可能多的保存历史数据。 5 应用举例 下面以趋势显示时自动加载归档数据为例介绍 WinCC 备份归档的组态及自动链接。在查询历史数据时,如果所查询的时间范围超过了在线归档数据的时间范围,则自动加载备份归档。 在“Trend”画面中添加选项组控件用来选择是否要自动链接备份归档,添加 Date and Time Picker 控件用来设置曲线的开始时间和结束时间,并添加查询按钮、趋势控件,如 图 21 所示。 接下来选择“自动加载备份归档”选项,设置相同的时间范围,点击查询按钮。对应的历史归档数据就会从备份归档中被重新加载,并呈现在曲线中。

    1.4K10

    MySQL审计数据归档演示

    作者:Mike Frank 译:徐轶韬 在此博客中,我将演示如何在许多mysql实例之间将审计日志进行合并归档。 将这些行从已审计的数据库插入到审计数据归档MySQL数据库中。如您所见,mysqlx API将使事情变得更加简单。 一些事实。 首先让我们以管理员身份登录到归档MySQL服务器实例上–我将使用root。整个示例都需要使用mysql shell。它包括用于从目标服务器提取审计数据进行计划批处理归档的python。 步骤1 –审计归档数据库设置。 首先,我将使用mysqlx API通过自己的会话连接到读取服务器和归档服务器。 将“ localhost”更改为归档服务器的ip /主机名。

    23340

    MySQL8.0 redo log归档功能

    我们知道,在MySQL中,redo log是一个文件组,一般是3个文件,循环写入,写满的时候会做redo log层面的checkpoint,然后覆盖之前的redo log;而binlog是有归档功能的 MySQL8.0.17中引入了redo log的归档功能,如果我们开启归档功能,redo log会持续不断的生成,而不会覆盖掉之前的redo log。这个功能主要在哪种场景下应用呢? 有了redo log的归档功能,就可以在备份启动的时候同步启动redo log 归档,而在备份结束的时候同步停止redo log归档,这样就可以避免这个备份的问题了。 这个用户,并修改用户属性为700 sudo chown -R mysql.mysql /tmp/20200713 mysql >>system chmod 700 /tmp/20200713 mysql 一般情况下,redo log的归档功能,对性能的影响比较小,在高并发事务场景下,可能对性能的影响会有点大。具体数据有待测试。

    66541

    案例:归档自动清理脚本失效及连带影响

    (同时作为OGG源端,OGG版本19.1.0.0.4) + 单实例19.3多租户(其中1个PDB作为OGG目标端,OGG版本19.1.0.0.4) 现象概述:发现OGG进程abended,原因是主库归档满 ,但是实际已配置归档自动清理脚本(归档空间使用大于90%时清理),进一步查看发现根源是归档清理失效,报错RMAN-08137,导致的影响有很多,首先主库无法进行测试数据写入,其次ADG备库产生延迟,然后 OGG源端抽取进程因超时报错OGG-02149导致abended.. 1.故障现象:归档清理报错RMAN-08137 2.解决方案:设置"_deferred_log_dest_is_valid"参数 3 .恢复故障:归档清理恢复正常,ADG同步正常,OGG进程启动正常 1.故障现象:归档清理报错RMAN-08137 自动归档清理失效,报错RMAN-08137,手工清理现象一样: RMAN> DELETE ,ADG同步正常,OGG进程启动正常 3.1 归档清理恢复正常 上面设置隐藏参数之后,就可以正常删除归档了: RMAN> DELETE NOPROMPT ARCHIVELOG ALL COMPLETED

    56820

    MySQL数据归档小工具推荐及优化--mysql_archiver

    一.主要概述 MySQL数据库归档历史数据主要可以分为三种方式:一.创建编写SP、设置Event;二.通过dump导入导出;三.通过pt-archiver工具进行归档。 pt-archiver是Percona-Toolkit工具集中的一个组件,是一个主要用于对MySQL表数据进行归档和清除的工具。它可以将数据归档到另一张表或者是一个文件中。 MySQL_archiver基本上实现了数据归档自动运转,统一的归档任务调度管理、自动监控和预警、自动生成报表。在一定程度上节约了生产力,提高了运维效率。" --file 指定表数据需要归档到的文件。使用类似MySQL DATE_FORMAT()格式化命名方式。 --why-quit 指定工具打印当非因完成归档行数退出的原因。 在执行一个自动归档任务时该选项与选项'--run-time'一起使用非常方便,这样可以确定归档任务是否在指定的时间内完成。

    63200

    线上MySQL某个历史数据表的分区笔记

    背景:     线上的一个历史数据库,业务方反馈经常遇到一个范围查询就导致CPU迅速飙升的情况。 此外,也可以写个存储过程配合event_schedule每月自动创建一个新的分区。 使用存储过程的方法这里先略过,后期补充。

    78730

    Linux下将Oracle11g由非归档模式(Noarchivelog)更改为自动归档模式(archivelog)

    在Linux环境下将Oracle11g数据库模式由非归档模式(Noarchivelog)修改为自动归档模式(archivelog)。 正常关闭方式)和shutdown transactional(事务关闭方式) 8、以mount模式启动(仅加载数据库,但不打开数据库) startup mount 如图所示: 9、修改数据库为归档模式

    5620

    QQ邮箱的邮件很多很杂,邮箱如何自动归档呢?

    57930

    (3) MySQL分区表使用方法

    确认MySQL服务器是否支持分区表 命令: show plugins; 2. ,则只需要对某一个分区进行归档就可以了) 所有查询中都包括分区键(避免跨分区查询) 定期按分区范围清理历史数据 LIST分区 LIST分区的特点 按分区键取值的列表进行分区 同范围分区一样,各分区的列表值不能重复 所以只需要通过一条语句,删除p0分区即可 ALTER TABLE customer_login_log DROP PARTITION p0; 可以发现p0分区已被删除,且2016年的日志全部被清除了 归档分区历史数据 我们可能有另一种需求对数据进行归档 Mysql版本>=5.7,归档分区历史数据非常方便,提供了一个交换分区的方法 分区数据归档迁移条件: MySQL>=5.7 结构相同 归档到的数据表一定要是非分区表 myisam引擎的自动增长列必须是索引,如果是组合索引,自动增长可以不是第一列,他可以根据前面几列进行排序后递增。

    21010

    干货 | 百万QPS,秒级延迟,携程基于实时流的大数据基础层建设

    3.2 历史数据重放 有两个场景需要我们采集历史数据: 1)首次做 mysql-hive镜像 ,需要从mysql加载历史数据; 2)系统故障(丢数等极端情况),需要从mysql恢复数据。 有两种方案: 1)从mysql 批量拉取历史数据,上传到HDFS 。 业务DELETE数据有2种情况:业务修单等引起的正常DELETE,需要同步变更到Hive;业务库归档历史数据产生的DELETE,这类DELETE操作需要忽略掉。 为了解决这个问题,在Merge之前进行程自动判断,参考规则如下: a)业务归档通常是大批量的DELETE(百万+),因此可以设置一个阈值,比如500W或日增量的7倍。 b)业务归档的时间段通常比较久,比如设置阈值为30天。如果满足了条件1,且删除的这些数据在30天以前,则属于归档产生的DELETE。

    41510

    运维架构服务监控 Open-Falcon

    、存储(周期为1分钟) 6、高效的历史数据query组件:采用rrdtool的数据归档策略,秒级返回上百个metric一年的历史数据 7、dashboard:多维度的数据展示,用户自定义Screen 8 (当然zabbix可以通过配置一些自动发现策略来搞定这个,不过比较麻烦)。 用户在web portal来配置相关的报警策略,存储在MySQL中。heartbeat server 会定期加载MySQL中的内容。 八、 面板 九、 存储 对于监控系统来讲,历史数据的存储和高效率查询,永远是个很难的问题! 我们参考rrdtool的理念,在数据每次存入的时候,会自动进行采样、归档。我们的归档策略如下,历史数据保存5年。

    1.3K00

    如何从tushare获取股票历史数据写入自己的MySQL数据库

    如何从tushare获取股票历史数据写入自己的MySQL数据库 点击 https://tushare.pro/register? 1. tushare推荐方法 如果你需要读取全部股票的历史数据,tushare 给的建议是按 “天” 获取。 代码如下: import tushare as ts pro = ts.pro_api() df = pro.daily(trade_date='20200325') 然后通过日期循环,就可以获取所有股票的历史数据了 上述方法使用的是 pro.daily() 函数,目前 tushare 提供了一个新的“通用行情接口” pro_bar() ,而且内部已经存在重试机制,所以现在可以直接用 ts.pro_bar() 函数来获取历史数据了 上一篇 《学习python想连接MySQL,没有练习数据怎么办?》 已经把股票基础信息保存在MySQL数据库里了,本篇需要从 stock_basic 里获取上市公司的上市日期。 2.1.

    26730

    一次生产环境mysql迁移操作(一)数据归档

    背景 在项目过程中我们经常要对数据库进行迁移、归档、拆分等等操作,现在描述下几种方案 mysqldump 该命令可以指定导出数据库,该命令可能用时很久 cp 直接拷贝mysql数据文件,这里会影响业务需要下线 4、移除mysql原有数据,并挂载 mv /var/lib/mysql /var/lib/mysql_bak mount /dev/vgssd/mysql /var/lib/mysql 5、 拷贝线上数据到本地 cp -af remotepath /var/lib/mysql chown mysql:mysql /var/lib/mysql 执行完上面步骤后,再开始进行归档操作 归档步骤 1、停止mysql -p /mnt/mysql_temp mount -o ro,nouuid /dev/vgssd/mysql_backup /mnt/mysql_temp ls /mnt/mysql_temp 6、 /mnt/mysql_temp lvremove /dev/vgssd/mysql_backup 定时归档 暂定为30天,这样才能备份所有数据。

    97410

    【Percona-toolkit系列】Percona Toolkit工具之pt-archiver

    pt-archiver可以很轻松的将生产环境的历史数据归档到文件或者直接删除,还可以不同主机间同步数据,而不用将数据落盘,实现的功能有点类似Oracle的数据泵和dblink;pt-archiver一款非常好用的数据归档及清理历史数据的工具 此时加上–ignore或–replace选项,可以轻松实现 4、导出线上数据,到线下数据作处理 测试环境 MYSQL 5.7多实例环境,端口分别是3306和3307 一、将历史数据归档到文件中 由于在使用 pt-archiver做数据归档后要依赖于perl-DBI和perl-DBD-MySQL包,否则就会出现如下的报错信息,所以在工具使用前,做好将相关的依赖包安装好; [root@VM_54_118_centos ~]# yum install perl-DBD-MySQL 示例: 将端口为3306MYSQL实例中wjq数据库中wjq_innodb_count1表的数据归档到/tmp/arch目录下 [root 增加该值可以提升归档性能。 二、不同实例之间同步数据 使用pt-archiver可以将历史数据搬到备份库,或者在两个库之间在线同步数据。

    35910

    CentOS7下部署Open-Falcon小米开源监控系统

    Open-Falcon Open-Falcon是由小米开启的一款企业级、高可用、可扩展的开源监控解决方案 特点与优势如下 1、强大灵活的数据采集:自动发现,支持falcon-agent、snmp、支持用户主动 多种告警方式、支持callback调用 4、人性化的告警设置:最大告警次数、告警级别、告警恢复通知、告警暂停、不同时段不同阈值、支持维护周期 5、高效率的graph组件:单机支撑200万metric的上报、归档 、存储(周期为1分钟) 6、高效的历史数据query组件:采用rrdtool的数据归档策略,秒级返回上百个metric一年的历史数据 7、dashboard:多维度的数据展示,用户自定义Screen 8 /db_schema mysql -h 127.0.0.1 -u root -popenfalcon < 1_uic-db-schema.sql mysql -h 127.0.0.1 -u root - mysql -h 127.0.0.1 -u root -popenfalcon < 4_graph-db-schema.sql mysql -h 127.0.0.1 -u root -popenfalcon

    93520

    01 . Openfalcon小米监控简介及部署

    、endpoint、metric、key-value tags) 水平扩展能力: 支持每个周期上亿次的数据采集、告警判定、历史数据存储和查询. 高效的graph组件: 单机支撑200万metric的上报、归档、存储(周期为1分钟) 高效的历史数据query组件: 采用rrdtool的数据归档策略,秒级返回上百个metric一年的历史数据. dashboard 报警现场没有保存: 因为使用rrd存储历史数据,一天后数据就被做了归档处理,查看历史报警时刻趋势图,无法查看当前准确值. 存储 对于监控系统来讲,历史数据的存储和高效率查询,永远是一个很难的问题! 数据每次存入的时候,会自动进行采样,存档. 我们归档策略如下: 历史数据保存5年 。同时为了不丢失信息量,数据归档的时候,会按照平均值采样、最大值采样、最小值采样.

    1.5K40

    扫码关注腾讯云开发者

    领取腾讯云代金券