前段时间，在优雅的使用pt-archiver进行数据归档一文中介绍了pt-archiver的使用方法，也将pt-archiver部署到了生产环境，这时候问题来了~
生产环境需要做归档的任务有十几个，如果要知道每个归档任务成功与否、跑了多长时间、归档了多少数据，就得手工逐个查看日志，非常枯燥的重复劳动，那是否有办法可以统一管理呢？
一，引言 前段时间在优雅的使用pt-archiver进行数据归档一文中介绍了pt-archiver的使用方法，也将pt-archiver部署到了生产环境，这时候问题来了…… 生产环境需要做归档的任务有十余个，如果要知道每个归档任务成功还是失败、跑了多长时间、归档了多少数据，就得手工逐个日志查一查，非常枯燥的重复劳动，是否有办法可以统一管理呢？于是用python折腾了一个小工具…… 二，mysql_archiver 2.1 归档调度 db_archive_exec.py，从数据库获取归档任务的基本信息
云数据库 MySQL（TencentDB for MySQL）是腾讯云基于开源数据库 MySQL 专业打造的高性能分布式数据存储服务，让用户能够在云中更轻松地设置、操作和扩展关系数据库。同时云数据库MySQL集成了数据库的备份功能，可以针对数据库实现数据库的自动数据备份、手动数据备份以及日志备份。
现在业务系统设计中，存储设计扮演着至关重要的角色。随着数据量的爆炸性增长和业务需求的不断变化，如何高效、安全地存储和管理数据成为了每个业务系统设计必须面对的挑战。
mysql是一种开放源代码的关系型数据库管理系统（RDBMS）,是使用最常用的数据库管理语言–结构化查询语言（SQL）进行数据库管理。
目前一共包含6个脚本，若脚本的扩展名为“.sql”则表示该脚本为sql脚本，若脚本的扩展名为“.pl”则表示该脚本为perl脚本。
腾讯云数据中心的建设，是符合国际ISO标准，以及国内的可信云、信息安全等级保护三级标准，这为数据中心的稳定运行以及安全提供了可靠依据。
前言 京东物流极速的购物体验背后隐藏着怎样的秘诀？仓储和配送时效是其中最为关键的一环。京东物流超强仓配体系，特别是在电商行业中独有的仓储系统，在其中起到了决定性的作用。 当前京东的库房已经遍布全国，京东仓储管理系统（简称WMS系统）是最核心的生产系统，涵盖了从入库，复核，打包，出库、库存和报表等等环节。 而作为系统最后端的数据库，不仅仅承担着存储数据的任务，还是系统可用性的最后一道防线，如何保证仓储系统数据库的高性能和高可用，直接决定了库房生产是否能顺畅进行。 在本篇我们将会详细介绍京东物流仓储系统的数据
7月28日，由中国信息通信研究院、中国通信标准化协会联合主办的“2021可信云大会”上，腾讯云原生数据库TDSQL-C 凭借100%兼容 MySQL 和 PostgreSQL、实现超百万级QPS的高吞吐、128TB海量分布式智能存储、保障数据安全可靠等优势，在云原生数据库领域斩获2020-2021年度可信云技术最佳实践案例奖。 该奖项由中国信息通信研究院、中国通信标准化协会联合颁发，对申报单位提交的产品技术创新、技术的性能应用及云产品的解决方案等进行全面考核，包括技术专业性、技术能力和服务水平等多维度指标
马上消费金融于 2015 年 6 月营业，截止到 2020 年 1 月，历经 4 年多风雨，总注册用户数 8000 万，活跃用户数 2500 万，累计放贷 2900 多亿元人民币。公司于 2018 年 6 月增资到 40 亿，成为内资第一大的消费金融公司。
随着互联网技术的不断发展， MySQL 相关生态也越来越完善，越来越多的工具涌现出来。一些公司或个人纷纷开源出一些不错的工具，本篇文章主要介绍几款 MySQL 相关实用工具。提醒下，这里并不介绍 Navicat 等这类图形化操作工具哦。
本文转载至：https://mp.weixin.qq.com/s?__biz=MzUzMTkyODc4NQ==&mid=2247486787&idx=1&sn=9738dd8565b0744c05bfb0fe44d2e990&chksm=faba4efdcdcdc7eb6e729ed6c941b064cf8c7c3a7d87eff491d32d4ee7f6423ebd230033d2cc&scene=178&cur_album_id=2869345486221262853#rd
目前，在很多OLTP场景中，MySQL数据库都有着广泛的应用，也有很多不同的使用方式。从数据库的业务需求、架构设计、运营维护、再到扩容迁移，不同的MySQL架构有不同的特点，适应一定的业务场景，或者解决一定的业务问题。
改造总是要付出很多代价的，肯定会跌很多坑，这是必然的... 性能问题也总会呈现先下降后再上升的一个历程（调试、磨合、找到针对性、适应性解决方案）。
MySQL数据库归档历史数据主要可以分为三种方式：一.创建编写SP、设置Event；二.通过dump导入导出；三.通过pt-archiver工具进行归档。第一种方式往往受限于同实例要求，往往被大家舍弃。第二种，性能相对较好，但是归档表较多时运维也是比较头疼的事。所以很多DBA往往采用第三种方式--pt-archiver。
在不久前有位客户在进行数据迁移时发现。自己使用pt-archiver备份时总是会少一条数据；如源数据库中某表数据为2333，导入目的数据库后select结果只有2332。
正式分享之前，先对最近热门的删库事件做一点反思。作为DBA应如何加强预防，改进措施防止再出现类似事件呢？我认为主要从三点出发：一是流程规范，二是技术支撑，三是安全制度。
业务不断地在增长，集群分片中的数据也会随着时间的推移而增加，其中有相当一部分的数据是很少被使用的，例如几年前的订单记录、交易记录、商品评论等数据。这部分数据就称之为冷数据，与之相反经常被使用的数据则称之为热数据。
所以说，当公司业务有跨库分析时（一般情况是，业务数据库分布在各个部门），一些数据需要配合其他部门的数据进行关联查询，这个时候可以考虑Presto。但是目前，对于MySQL统计查询在性能上有瓶颈。可考虑将数据按时间段归档到HDFS中，以提高统计效率。
墨墨导读：MySQL如何实现高性能？以下内容是结合其他技术同仁的总结和自我实践整理的20个开源数据库设计原则，分享至此，希望对大家有帮助。
近日，沃趣科技QPlus V5.5.0正式发布。本次版本更新旨在解决用户于数据存储、备份和管理方面的痛点，极大改善了用户的数据库运维和管理体验。
数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！
✨ mysql 的备份和恢复 创建备份管理员 创建备份管理员，并授予管理员相应的权限 备份所需权限：select,reload,lock tables,replication client,show view,event,process # 创建管理员 create user 'backup'@'localhost' identified by '123456'; # 给管理员授权 grant select,reload,lock tables,replication client,show view,
很多的时候，在Presto上对数据库跨库查询，例如Mysql数据库。这个时候Presto的做法是从MySQL数据库端拉取最基本的数据，然后再去做进一步的处理，例如统计等聚合操作。
单机版流复制测试环境搭建 搭建规划: 主库 备库 数据目录/pgdata/12/data/pgdata/1202/data归档目录/pgdata/12/arch/pgdata/1202/arch端口 54325433 创建流复制用户： create role replica with replication login password '123456'; 备份主库： pg_basebackup -D /backup/ -Ft -Pv -U postgres -h 1.15.57.253 -p5
”工欲善其事，必先利其器“。数据备份是DBA的日常工作，也是保证数据安全的重要工作，要尽善尽美的完成这项工作，必须要使用一款高效可靠的备份工具。MySQL在其企业版里提供了一款备份工具——MySQL Enterprise Backup，简称MEB。
刘伟，云和恩墨软件开发部研究院研究员；前微博DBA，主要研究方向为开源数据库，分布式数据库，擅长自动化运维以及数据库内核研究。
所谓的“大表”指的是一张表中有大量的数据，而通常情况下数据量越多，那么也就意味着查询速度越慢。这是因为当数据量增多时，那么查询一个数据需要匹配和检索的内容也就越多，而检索的项目越多，那么查询速度也就越慢。
本文详细介绍了转转业财系统亿级数据存储优化的实践。面对系统数据量大、慢查询多等挑战，转转业财采取了 TiDB 方案优化数据量问题，同时引入 Elasticsearch（ES）解决慢查询难题。实践表明，通过底层数据存储切换和 ES 接入，系统成功突破了存储瓶颈，显著提升了查询效率和响应速度，为大规模数据处理提供了有效的优化路径。
哈啰出行作为阿里系共享单车的头部企业，在江湖中的知名度还是有的，而今天我们就来看一道哈啰 Java 一面中的经典面试题：当数据表中数据量过大时，应该如何优化查询速度？
LCS 是一个基于 Python Django 框架的项目，业务核心是物流订单的履约过程，包括连接上游和第三方物流服务的创建订单、轨迹与运费更新。在部署上，LCS 依据业务所在的市场不同，应用层分市场部署，并使用各自市场对应的数据库。在项目起步初期，这些不同市场的数据库共用同一套物理集群，共享内存和磁盘空间，在资源上看，是足以应付初期流量的。
企业业务部署在云上，借助云平台的能力，企业几乎“零”成本拥有同地域数据备份的能力。即使云平台在建设数据中心之前，会遵循机房建设标准来选址，但是对于极端情况自然灾害，例如地震，台风等等，对同地域备份安全能力有非常大的风险，因此本文重点阐述腾讯云对异地数据冷备解决方案。
到数据归档，很多人的第一个概念就是，不就是无用的数据，换个地方放吗，直接拷贝，删除不就得了，有那么麻烦。
当我们业务数据库表中的数据越来越多，如果你也和我遇到了以下类似场景，那让我们一起来解决这个问题
说起DBA，全称是Database Administrator，不是Doctor of Business Administration，千万不要误解，那可是天壤之别！尽管如此，很多人依然认为有着神秘的面纱，高深莫测，花环簇拥，是收入丰厚的一族人。实则不然，DBA说白了就一修理工。修理啥呢，不是车床机床，也不是修理啥精密仪器，修理的是数据库，仅此而已。DBA这个行业同样也经历了由萌芽，发展到鼎盛的过程。尤其是近2年海量数据的井喷以及新数据库时代，云数据时代，DBA 2.0时代的兴起。以及最近所谓后DBA时代的说法。说到DBA的工作，我们先得搞清当前几类常用的数据库。主要有两大阵营，一类是SQL，学过计算机的人应该都知道，传统数据库，诸如Oracle，DB2，MySQL，SQL serer等主流数据库。面对的是那些传统行业，比如证券，银行，电信等使用的居多。另一类是NoSQL，诸如Hadoop，MongoDB，CouchDB等，主要用于互联网行业，如在线社交系统，Amazon 的Dynamo等。对于当前这两大阵营，貌似有划江而治之势。让人不免眼花缭乱。究竟何去何从，应当更多或更深的思考，这是一个比较大的话题，暂且不表。本文主要描述一下传统DBA的那些事，也就是DBA的工作范围与职责，更多的围绕Oracle展开。本文主要从六个方面来简要描述DBA的工作。
我们有需要将物理盘上的mysql迁移到ssd上，先说一下生产环境一直有数据产生，且数据量达到500G。 方案一：使用mysqldump，不管是导入导出都太耗时，没有一天拿不下 方案二：直接物理磁盘上拷贝也是非常耗时，拷贝过程中需要停服务，这就导致停服务时间太长。 方案三：这个方案本来是很有优势的，但是实际情况导出导入也需要锁表或锁库，也是需要停服务，本来我们就不需要增量拷贝，innobackupex优势体现在增量拷贝。 方案四：拷贝速度快 综合停服务时间以及操作难易度，最终选择了方案四。 下面描述下操作步骤
用户往往面对多种选择。下面将为大家分享 PingCAP 团队在多年的实践中积攒的大量异构平台迁移经验，以及数据库复制技术的更多应用场景。
“增删改查”都是查找问题，因为你都得先找到数据才能对数据做操作。那存储系统性能问题，其实就是查找快慢问题。
开始和数据库玩耍以后，我们将一直与SQL和数据打交道。在日常的操作中，我们只需要对指定的数据库进行操作，执行增删改查，权限管理等。但有些时候由于项目的升级，或者服务器的更换，我们要将数据从一个地方转移到另一个地方，准确的说是从一个数据库服务转移到另一个数据库服务中，因为我们还要继续使用这些数据。
Plus (读音：[plʌs]，全称：ThinkSNS+ [θɪŋk es en es plʌs]，是 ThinkSNS 系列产品一个重要版本，其软件识别名称为 Plus 即 +) 是一个基于 Latest Laravel 框架进行开发的一个功能强大、易于开发和强拓展的社交系统。与其他开源社交程序不同的是 Plus 拥有多年社交系统经验，不仅易于上手，还便于应用拓展。另一方面，程序采用 PHP 7 严格模式，从根本上尽量避免弱级错误的产生。同时因为从零开始选择较好的带有较好 ORM 的原因，Plus 允许你更具你的需求使用不同数据库。
这是之前写的几篇关于Linux环境下安装MySQL数据库的文章，包括5.7.19以及5.6这两个版本，
自增主键没有持久化是个比较早的bug，这点从其在官方bug网站的id号也可看出（https://bugs.MySQL.com/bug.php?id=199）。由Peter Zaitsev（现Perco
◆ 冷热分离 本文讲的第一个场景是冷热分离。简单来说，就是将常用的“热”数据和不常使用的“冷”数据分开存储。 本章要考虑的重点是锁的机制、批量处理以及失败重试的数据一致性问题。这部分内容在实际开发中的“陷阱”还是不少的。 首先介绍一下业务场景。 ◆ 1.1 业务场景：几千万数据量的工单表如何快速优化 这次项目优化的是一个邮件客服系统。它是一个SaaS（通过网络提供软件服务）系统，但是大客户只有两三家，最主要的客户是一家大型媒体集团。 这个系统的主要功能是这样的：它会对接客户的邮件服务器，自动收取发到几个
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
