WAL(Write Ahead Log)预写日志，是数据库系统中常见的一种手段，用于保证数据操作的原子性和持久性。
作者介绍：李明，腾讯云数据库架构师华南区负责人，曾在某专业数据库服务商、51job任职DBA。
大家好，我是一名中国程序员，在 IT 领域（云计算+数据库）工作 20 年，17 年程序员和 3 年产品经理。早已经过了 35 岁，数据库爱好者，为了能一直写代码，我创建了一家公司（玖章算术），发布了首款数据服务 www.ninedata.cloud （对，在云时代我们率先使用了.cloud的域名），以下是我个人介绍。
银行业从最初的手工记账到会计电算化，到金融电子化，再到现在的金融科技，可以看到金融与科技的结合越来越紧密，人工智能、大数据、物联网、区块链等新兴技术改变了金融的交易方式，为金融行业的创新前行提供了源源不断的动力。同时互联网金融的兴起是一把双刃剑，带来了机遇的同时也带来了挑战。普惠金融使得金融的门槛降低，更多的普通大众参与到金融活动中，这让金融信息系统承受了越来越大的压力。于是我们可以看到大型商业银行、保险公司、证券公司、交易所等核心交易系统都在纷纷进行分布式改造，其中数据库作为有状态的应用，成为了信息系统中唯一的单点，承担了所有来自上层应用的压力。随着数据库瓶颈的凸显，进行分布式改造迫在眉睫。
得物供应链业务是纷繁复杂的，我们既有JIT的现货模式中间夹着这大量的仓库作业环节，又有到仓的寄售，品牌业务，有非常复杂的逆向链路。在这么复杂的业务背后，我们需要精细化关注人货场车的效率和成本，每一单的及时履约情况，要做到这一点我们需要各粒度和维度的数据来支撑我们的精细化管理。
为帮助开发者更好地了解和学习前沿数据库技术，腾讯云数据库特推出"DB · TALK"系列技术分享会，聚焦干货赋能创新，邀请数十位鹅厂资深数据库专家每月和您一起深入探讨云数据库的内核技术、性能、架构、管理运维和最佳实践等。 3月30日第一期分享会“数据库管理与运维”专场已结束，本期带来各讲师分享精华及直播回顾视频。想要讲师ppt的小伙伴，可在腾讯云数据库公众号后台发送"3.30讲师课件"，即可获得讲师课件哦！ 迁移利器DBbridge 技术实现原理 ——程学飞，腾讯云数据库高级产品经理 DBbridge软件的
事情是这样的，我负责我司的报表系统，小胖是我小弟。某天他手贱误删了一条生产的数据。被用户在群里疯狂投诉质问，火急火燎的跑来问我怎么办。我特么冷汗都出来了，训斥了他一顿：蠢，蠢得都可以进博物馆了，生产的数据能随便动？
最近积压了很多朋友的问题，我想起来的时候就回复一下，别见怪，不是我有势利眼。 前几天有个朋友问我的问题，是在xtrabackup的时候，没有特别保留checkpoints文件，想问问能否通过日志来推理得到里面的LSN信息呢，背景条件是做全备。 一个参考的日志如下： 171208 11:21:54 [01] Copying ./sbtest/dba_xtrabackupresult.frm to /data/backup/sbtest/dba_xtrabackupresult.frm 171208 11:2
TiDB Binlog 组件用于收集 TiDB 的 binlog，并准实时同步给下游，如：TiDB/MySQL等。该组件在功能上类似于 MySQL 的主从复制，会收集各个 TiDB 实例产生的 binlog，并按事务提交的时间排序，全局有序的将数据同步至下游。利用 TiDB Binlog 可以实现数据准实时同步到其他数据库，以及 TiDB 数据准实时的备份与恢复。TiDB Binlog 作为 TiDB 的核心组件之一，已经在上百家用户的生产环境中长时间稳定运行。
在传统数据大集中的环境下，银行核心系统很容易发生故障，而且一旦发生故障，影响面将特别广，带来很大的舆论压力和监管压力，历史上大型商业银行核心系统故障的例子不在少数。而且传统的集中式架构不易扩展，各模块间高度耦合，最终造成核心系统体量太过庞大、业务太过繁重。
腾讯云数据库国产数据库专题线上技术沙龙正在火热进行中，3月10日张文的分享已经结束，没来得及参与的小伙伴不用担心，以下就是直播的视频和文字回顾。
每年一次的双十一大促临近，因此上周末公司组织了一次技术交流闭门会，邀请了电商、物流、文娱内容、生活服务等知名一线互联网公司的技术大牛，一起探讨了一些大促稳定性保障相关的技术话题。
为帮助开发者更好地了解和学习分布式数据库技术，2020年3月，腾讯云数据库、云加社区联合腾讯TEG数据库工作组特推出为期3个月的国产数据库专题线上技术沙龙《你想了解的国产数据库秘密，都在这！》，邀请数十位鹅厂资深数据库专家每周二和周四晚上在线深入解读TDSQL、CynosDB/CDB、TBase三款鹅厂自研数据库的核心架构、技术实现原理和最佳实践等。三月为TDSQL专题月，本文将带来直播回顾第一篇《腾讯自研分布式数据库TDSQL核心架构及特性拆解》。
在软件开发领域，「异地多活」是分布式系统架构设计的一座高峰，很多人经常听过它，但很少人理解其中的原理。
在环境治理的环节中必不可少的就是数据库的管理，数据库管理的环节中很重要的一点就是数据库的同步。
谈一下你最擅长的开发环境 (OS, Editor, Browsers, Tools etc.)
在做一些技术规划的时候，会发现有一些事情需要前置，比如说MySQL里面的工具，如果等到实际碰到了各色的问题再来统一，就比较难了。有沟通成本，人力成本，技术沉淀和持续交付等等的成本，这些最好提前和团队有一个基本的沟通，达成一个共识。内部统一了以后，和开发同学规范统一就有了一个基线。 大体来说，我考虑了以下几个方面，内容适当做了删减。 运维管理工具 数据备份恢复工具 数据库优化工具 客户端工具 性能测试工具 数据库版本管理工具 数据库审计工具 我来逐个说一下，有更好的工具也欢迎各位拍砖。 运维管
本文讲述了作者团队在KV存储方面经历的两个时期以及遇到的问题，并提出了改进方案。通过对比业内KV存储组件，作者认为毫秒服务引擎在易用性、可运维性和黑盒化运维方面具有优势。
在软件开发领域，异地多活是分布式系统架构设计的一座高峰，很多人经常听到过他，但很少人理解其中的原理;
在云计算越来越火的今天，我们不难预测，云上的MySQL在未来的数据库市场也将是主流。 在很多人的理解中，云托管数据库服务是“暴利”。 而实际上，在这个海量数据大爆发的时代，开源版本的MySQL很难满足很多企业的业务需求，在某些场景下，无论是性能、安全还是稳定性，都面临着各种各样的问题，产品能力不足的云数据库MySQL也很难在竞争激烈的市场找到属于自己的舞台。 上周的一篇文章数据君分享了近期腾讯云MySQL入选顶会的故事，这一期想和大家谈谈，在应用场景下，这帮人又做了哪些事？ 回顾腾讯云数据库MySQL的
在我们线上的生产环境中要备份的东西很多，各种服务日志、数据库数据、用户上传数据、代码等等。用 JuiceFS 来备份可以节省你大量时间，我们会围绕这个主题写一系列的教程，整理出一套最佳实践，方便大家。
我们还是从一个表的一条更新语句说起，下面是这个表的创建语句，这个表有一个主键 ID 和一个整型字段 c：
故障是运维人员永远的痛。相信每一个运维人员的KPI中都有一项：可用性。可用性高就是不出故障，各个公司对可用性和故障评级的标准都不相同，但是避免故障的方法却是殊途同归。我们怎么避免故障，沃趣科技简单列举了以下几条，与大家共勉！ 1、变更要有回滚，在同样的环境测试过 2、对破坏性的操作谨慎小心 3、设置好命令提示 4、备份并验证备份有效性 5、对生产环境存有敬畏之心 6、交接和休假最容易出故障，变更请谨慎 7、搭建报警，及时获得出错信息。搭建性能监控，了解历史，获得趋势，预测未来 8、自动切换需谨慎 9、仔细一
对于任何一个企业来说，数据安全的重要性是不言而喻的。我在开篇词中也曾经强调过，凡是涉及到数据的问题，都是损失惨重的大问题。
导读：本文我们盘点了往年发生的一些删库事件，我们该如何做到更好地预防和处理删库实践呢？
近日，Oracle召开自治数据库私有云发布会，产品重大升级。下面就此次发布会的内容，尝试做个个人解读，以此洞察行业发展的变化。以下材料为发布会材料截图。
腾讯云数据库国产数据库专题线上技术沙龙正在火热进行中，5月23日杨杰的分享已经结束，没来得及参与的小伙伴不用担心，以下就是直播的视频和文字回顾。 关注“腾讯云数据库”公众号，回复“0523杨杰 ”，即可下载直播分享PPT。 我是来自CDB/CynosDB的架构师杨杰，主要负责CDB/CynosDB研发相关的工作。 今天分享的主题是CDB备份系统九鼎是如何支撑数十万节点的备份。主要分为几个部分。第一个部分是在海量场景下面，数据备份遇到的一个新的挑战。面对这个挑战，我们九鼎是怎么设计和应对的。第二部分是提升备
分布式数据库，已经进入了全面快速发展阶段，这种发展，是与时俱进的，与人的需求是分不开的，因为现在信息时代的高速发展，导致数据量和交易量越来越大。这种现象首先导致的就是存储瓶颈，因为MySQL数据库，实质上，还是一个单机版本的数据库，而只要是单机，就必然会遇到的一个问题就是存储问题，因为存储是硬需求，而CPU和内存如果不够的话，只是性能不好，并不会直接否定方案或者架构。
还是先在粉板上记一下方便。如果掌柜没有粉板，每次记账都翻账本，效率是不是低死啦？ MySQL也有这个问题，若每次更新操作都写进磁盘，然后磁盘也要找到对应记录，然后再更新，整个过程IO成本、搜索成本都很高。 何解？采用类似酒掌柜粉板的思路。
不同场景下 MySQL 的迁移方案 一 目录 一 目录 二 为什么要迁移 三 MySQL 迁移方案概览 四 MySQL 迁移实战 4.1 场景一 一主一从结构迁移从库 4.2 场景二 一主一从结构迁移指定库 4.3 场景三 一主一从结构双边迁移指定库 4.4 场景四 一主一从结构完整迁移主从 4.5 场景五 双主结构跨机房迁移 4.6 场景六 多实例跨机房迁移 五 注意事项 六 技巧 七 总结 二 为什么要迁移 MySQL 迁移是 DBA 日常维护中的一个工作。迁移，究其本义，无非是把实际存在的物体挪走，保
原文出处： 温国兵（@dbarobin） 一 为什么要迁移 MySQL 迁移是 DBA 日常维护中的一个工作。迁移，究其本义，无非是把实际存在的物体挪走，保证该物体的完整性以及延续性。就像柔软的沙滩上，两个天真无邪的小孩，把一堆沙子挪向其他地方，铸就内心神往的城堡。 生产环境中，有以下情况需要做迁移工作，如下： 磁盘空间不够。比如一些老项目，选用的机型并不一定适用于数据库。随着时间的推移，硬盘很有可能出现短缺； 业务出现瓶颈。比如项目中采用单机承担所有的读写业务，业务压力增大，不堪重负。如果 IO 压
经过一年多的开发，TiDB 4.0 终于迎来 GA 版本，作为 TiDB「面向未来的数据库」道路上面的一个重要的里程碑，TiDB 4.0 不光在稳定性、易用性、性能、云原生等各个方面都有了巨大的进步，新增的特性也让 TiDB 产品能够支持更多元的业务类型。
企业业务敏感程度差异，对容灾指标RPO&RTO要求也不同。之前两篇文章主要介绍数据冷备，主要特点是数据备份存储非实时，备份系统存储数据通常昨天的数据，当灾难真正来临的时候，今天新产生的数据会丢失情况。对于企业核心业务来讲，业务恢复（RTO）可以接受小时级别，但是对于数据无法接受丢失，即RPO接近为“零”。结合腾讯云数据备份能力，本文重点介绍数据热备解决方案，旨在让客户上好云，用好云，管好云。
项目主要使用docker的方式一键部署各类应用及工具。目前已经有7个大类，几十种工具实现一键部署。并且根据个人实际情况进行自定义部署。
前些天处理了一个需求，当时的数据库环境是Oracle，我算是想尽了Oracle相关的方案，而且在问题的处理过程中，还在不断的琢磨，如果失败了还有什么其他的方案。 所以尽管Oracle这么一个成熟的商业数据库，做起来还是有些难度，需要一些额外的技巧，比如规避bug,间接实现需求等。 但是换个角度，2亿多数据的表，其实MySQL也不是新鲜事儿了。如果MySQL碰到了这种情况，该怎么处理呢。 梳理业务需求 假设业务需求还是不变，如下： 业务同学反馈，数据库中有一个表数据量很大，因
1、 据 Windows Centra 报道，微软计划在本月晚些时候发布新款 Surface Pro 和 Surface Laptop 硬件产品，而这些产品将会作为微软首款人工智能 PC 推出。--oschina
在本地搭建wordpress测试网站，测试完以后想把网站的数据完整的导入到主机上。一般我们会分别把网站程序和数据库文件备份然后再导入，但是这样做遇到一些问题，比如网站中的链接更换、数据库的兼容等等。 给大家介绍一个更有效的办法，使用Duplicator插件来把WordPress在本地的数据全部导入到主机上。 这种方法比较简单，建议初学者使用。我们将使用WordPress迁移插件将WordPress从localhost移至服务器。 步骤1.安装和设置复制器插件 首先，您需要做的是在本地站点上安装并激活Duplicator插件。有关详细信息，参考安装WordPress插件的三种方法。 激活后，您需要进入Duplicator,软件包页面，然后单击“新建”按钮。
作为一名合格的MySQL DBA，备份是重中之重。为了保证备份集的安全可靠，除了集中存储以外还有其他更好的方案吗？ 当然是有的，可以存储在OSS或者分布式存储上。那么问题来了，如何能够实现自动备份，不需要人工干预即可上传到OSS上，节约大量的时间去悠哉悠哉地喝喝茶、看看报呢？且听下文
Redis 和MongoDB及应用 Redis redis优化策略 redis除了做缓存还能做什么？ 说说redis持久化方式？分别优缺点是什么？redis更新策略是什么？ redis的数据结构存储？以及应用场景？如何实现集群和高可用？ 业务中redis如何保证可用性 怎么实现分布式锁（redis） 分布式锁的实现方式，zk实现和Redis实现的比较 redis支持的数据类型到跳跃表，redis同步策略 ,如何自己实现lru 什么是缓存击穿，redis的hotkey如何处理？如何保证数据库与缓存双写的一致性
本文由公众号“水滴与银弹”号主Kaito原创分享，原题“搞懂异地多活，看这篇就够了”，为使文章更好理解，有修订。
对于MySQL的完全恢复，我们可以借助于Innobackupex的多重备份加上binlog来将数据库恢复到故障点。这里的完全恢复是相对于时点恢复(也叫不完全恢复)。本文主要演示了基于Innobackupex如何做一个完全恢复，供大家参考。 有关Innobackupex的备份恢复的知识点请参考以下链接：
canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）。 canal 就是一个同步增量数据的一个工具。
数据库供应商通常每个月都会发布一些有bug /安全性修补程序的补丁，我们为什么要关心这些？因为，新的版本可能对安全漏洞或黑客入侵系统进行修复，所以除非不关注安全性能，否则，您会希望在您的系统安装上最新的安全修补程序。其中MySQL主要版本比较少见，通常是次版本升级，但是他们可能会带来一些重要的功能，使得升级是值得的。
大数据虽然是一个比较宽泛的词，但对于我们来说其实可以简单理解为“海量数据的存储与处理”。之所以人们专门大数据这个课题，是因为海量数据的处理和较小量级数据的处理是不一样的，例如我们对一个mysql表中的数据进行查询，如果是100条数据，那对于mysql来说毫无压力，但如果是从十亿条数据里面定位到一条呢？情况就变得复杂了，换个角度想，十亿条数据是否适合存在mysql里也是尚待讨论的。实时上从功能角度的出发，我们完全可以使用以往的一些技术栈去处理这些问题，只不过高并发高可用高实时性这些都别想了。接下来要介绍的这些腾讯大数据组件就是在这一个问题背景下一个个诞生的。
Hi,大家好,我是麦洛,今天我们聊聊MySQL的备份和恢复,在下面文章中,你会了解到MySQL常见的备份类型,以及基于mysqldump命令在日常开发中如何做MySQL数据库以及表的备份和恢复。最近开始玩公众号了,喜欢的小伙伴可以关注我
数据是当今Web，移动，社交，企业和云应用程序的流行货币。确保数据始终可用是任何组织的头等大事。几分钟的停机时间可能会导致收入和声誉严重损失。
最近一场调查还是挺意外的，PostgreSQL超越MySQL成为最受欢迎的数据库。身边的客户也有不少开始采用PostgreSQL作为生产的数据库，同时大模型火热、常时记忆的需求，也催生了对向量数据库的需求，而PostgreSQL，众多原因让我不得不把目光投向了这款产品，准备写一篇系列文章介绍PostgreSQL的备份体系、高可用建设、混沌工程、监控体系等内容。
最近，很多同学都在问大数据的毕业设计如何做，如何能把大数据的毕业设计做出点东西等等，今天就主要写写大数据毕业设计如何做，以及大数据毕业的设计的难点在哪。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
