文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

OceanBase 历史数据归档方案技术原理解读

同时，传统数据归档方案往往是业务研发或 DBA 采用脚本或简单的同步工具进行，难以在并发和效率上有效控制，很容易对在线数据库产生影响，严重的甚至导致生产数据误删事故。...OceanBase通过智能化的历史库平台工具结合数据库存储高压缩比的能力，可帮助企业轻松完成冷数据归档，释放宝贵的存储资源，降低总成本，并对数据生命周期实现可视化管理和智能运维。...此方案历经蚂蚁集团核心业务场景验证，交易支付历史库单实例数据超过 6PB，采用上百台大容量机械盘的低成本硬件支撑，磁盘水位自动均衡，平稳运行多年，节省了大量机器资源。...对于大量历史数据存储的需求， OceanBase 的 SSTable 存储格式和数据编码压缩功能可以使 OceanBase 更轻松地支持超大容量的数据存储。

65600
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    从MYSQL 数据库归档 到 归档设计

    2 数据通过MYSQL dump 或者其他的备份方式，将数据备份出来，在将数据恢复到数据归档库中，然后将备份的数据直接手动清理掉，这样的做法速度也很快，对业务的影响也比较小，基本上可以算是透明的方式了...下面就是一个MYSQL 针对一个数据库表归档的案例（这个案例也是有缺陷的，但目前是秉承着够用就好，以及时间成本的原则） 首先设计一个归档要考虑的问题如下 1 归档表的大小，以及每日最大，或最小的归档数据量...以下以最简单的自动化的方案来讲 下图是基于案例来讲的 因为数据库是MYSQL 所以考虑了归档一次是多大的批量，避免归档数据量过大的时候将生产库hang 死，另外配置表主要的功能是有两个 1 限制一次拷贝和清理的数据量...这样归档有没有缺点，当然有，缺点马上就可以说出几个 1 为什么还要在本地机归档数据，不应该是传送到其他机器上吗 2 为什么不设置每次归档的数量限制（每次限制操作的行数），这对MYSQL不是很用吗，为什么要写死...3 为什么要用MYSQL 存储过程来做，使用python不是更灵活 其实一言难尽，都和需求有关，所以很多设计出来的东西，外人一看一堆毛病，如果你进入到他的内部，一段时间估计你就懂得为什么会设计出这样或那样的东西

    6.2K41

    定期归档历史数据实战指南：从方案设计到落地优化

    本文从场景分析、方案设计、实战实现到优化避坑，完整拆解定期归档历史数据的全流程。一、为什么要做历史数据归档？...核心价值与应用场景历史数据归档并非“删除数据”，而是“分级存储”——将活跃数据（如近3个月订单）保留在高性能数据库（MySQL、PostgreSQL），将非活跃历史数据（如3个月前订单）迁移至低成本存储...采用“Spring Scheduler定时任务+MySQL源库+MySQL历史库+增量分批归档”方案。1....优化方案： - 采用“分片归档”：按用户ID或订单ID分片，多个线程并行归档不同分片数据； - 使用数据库原生工具：如MySQL的SELECT ......规避方案： - 归档前强制备份：通过脚本自动备份源库中待归档的数据，备份完成后再执行归档； - 备份文件保留：备份文件至少保留30天，确保归档问题解决后再清理。8.

    65310

    WinCC 中使用备份归档,并在需要时自动链接备份归档

    1 概述 在工业生产中，WinCC 归档的生产历史数据起到很重要的作用。...一部分历史数据可以反映设备运行状态的变化，一部分历史数据可以用来分析某些参数改变对生产效果的影响，还有一部分数据用来进行生产故障分析。所以需要尽可能多的保存历史数据。...5 应用举例 下面以趋势显示时自动加载归档数据为例介绍 WinCC 备份归档的组态及自动链接。在查询历史数据时，如果所查询的时间范围超过了在线归档数据的时间范围，则自动加载备份归档。...在“Trend”画面中添加选项组控件用来选择是否要自动链接备份归档，添加 Date and Time Picker 控件用来设置曲线的开始时间和结束时间，并添加查询按钮、趋势控件，如 图 21 所示。...接下来选择“自动加载备份归档”选项，设置相同的时间范围，点击查询按钮。对应的历史归档数据就会从备份归档中被重新加载，并呈现在曲线中。

    7.1K11

    MySQL8.0 redo log归档功能

    我们知道，在MySQL中，redo log是一个文件组，一般是3个文件，循环写入，写满的时候会做redo log层面的checkpoint，然后覆盖之前的redo log；而binlog是有归档功能的...MySQL8.0.17中引入了redo log的归档功能，如果我们开启归档功能，redo log会持续不断的生成，而不会覆盖掉之前的redo log。这个功能主要在哪种场景下应用呢？...有了redo log的归档功能，就可以在备份启动的时候同步启动redo log 归档，而在备份结束的时候同步停止redo log归档，这样就可以避免这个备份的问题了。...这个用户，并修改用户属性为700 sudo chown -R mysql.mysql /tmp/20200713 mysql >>system chmod 700 /tmp/20200713 mysql...一般情况下，redo log的归档功能，对性能的影响比较小，在高并发事务场景下，可能对性能的影响会有点大。具体数据有待测试。

    1.5K52

    案例：归档自动清理脚本失效及连带影响

    （同时作为OGG源端，OGG版本19.1.0.0.4） + 单实例19.3多租户(其中1个PDB作为OGG目标端，OGG版本19.1.0.0.4) 现象概述：发现OGG进程abended，原因是主库归档满...，但是实际已配置归档自动清理脚本（归档空间使用大于90%时清理），进一步查看发现根源是归档清理失效，报错RMAN-08137，导致的影响有很多，首先主库无法进行测试数据写入，其次ADG备库产生延迟，然后...OGG源端抽取进程因超时报错OGG-02149导致abended.. 1.故障现象：归档清理报错RMAN-08137 2.解决方案：设置"_deferred_log_dest_is_valid"参数 3....恢复故障：归档清理恢复正常，ADG同步正常，OGG进程启动正常 1.故障现象：归档清理报错RMAN-08137 自动归档清理失效，报错RMAN-08137，手工清理现象一样： RMAN> DELETE...，ADG同步正常，OGG进程启动正常 3.1 归档清理恢复正常 上面设置隐藏参数之后，就可以正常删除归档了： RMAN> DELETE NOPROMPT ARCHIVELOG ALL COMPLETED

    1.1K20

    MySQL数据归档小工具推荐及优化--mysql_archiver

    一.主要概述 MySQL数据库归档历史数据主要可以分为三种方式：一.创建编写SP、设置Event；二.通过dump导入导出；三.通过pt-archiver工具进行归档。...pt-archiver是Percona-Toolkit工具集中的一个组件，是一个主要用于对MySQL表数据进行归档和清除的工具。它可以将数据归档到另一张表或者是一个文件中。...MySQL_archiver基本上实现了数据归档的自动运转，统一的归档任务调度管理、自动监控和预警、自动生成报表。在一定程度上节约了生产力，提高了运维效率。"...--file 指定表数据需要归档到的文件。使用类似MySQL DATE_FORMAT()格式化命名方式。...--why-quit 指定工具打印当非因完成归档行数退出的原因。 在执行一个自动归档任务时该选项与选项'--run-time'一起使用非常方便，这样可以确定归档任务是否在指定的时间内完成。

    3.3K00

    【YashanDB 知识库】设置归档日志上限，但归档日志没自动清理，导致磁盘空间满

    ，预期归档日志不应该超过 16G，但还是产生了 100G + 的归档日志，占用了较多存储空间，最终磁盘空间满，客户怀疑归档清理策略没起效。...问题影响的版本YashanDB 版本：23.1.3.101问题发生原因归档日志在备份之前不会自动清理，设置归档上下限的同时，还需要设置归档日志清理忽略备份：ARCH_CLEAN_IGNORE_MODE=...SQL>发现设置归档上下限但没有设置归档日志清理忽略备份。...客户的场景是一主一备做压测，备机同步日志较多，实际会有短暂备机没有同步完，导致归档日志超过上限一些的情况。...经验总结归档日志在备份之前不会自动清理，设置归档上下限的同时，还需要设置归档日志清理忽略备份：ARCH_CLEAN_IGNORE_MODE=BACKUP

    34800

    桌面文档全自动监控归档软件，简直是神器

    今天给大家分享一款可以自动对桌面图标进行管理，对桌面的文档实现自动监控并自动进行归档，彻底告别凌乱的桌面，让桌面更清爽。强烈推荐大家下载使用。...软件介绍桌面图标管理-文档自动监控归档软件这是一款支持自动扫描桌面Word、Excel、PowerPoint、PDF等Office文档，并按日期、文件类型、大小等规则进行归档。...桌面图标管理软件还能智能处理文件名冲突，支持移动或复制模式，还可以避免归档正在使用的文件。支持按小时、天、周、月等多种频率执行归档，还可设置具体的执行时间，支持手动立即执行归档操作。...这里我们选择桌面路径，然后选择归档目录，归档频率、归档时间和需要归档的文件类型。选择完成后，点击立即归档就可以了，软件会提示归档完成。...软件还可以设置归档频率，这个可以按自己实际需要进行选择，以后定时，软件会自动归档，节省你的时间。

    6600
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券