文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

首次揭秘双11双12背后的云数据库技术！| Q推荐

从 2009 年到 2021 年，从千万交易额到千亿交易额，双 11 已经开展了 12 年。如今，每年的双 11 以及一个月后的双 12，已经成为真正意义上的全民购物狂欢节。...是什么样的数据库撑起了 2021 年的双 11 双 12 的稳定进行？...《数据 Cool 谈》第三期，阿里巴巴大淘宝技术部双 12 队长朱成、阿里巴巴业务平台双 11 队长徐培德、阿里巴巴数据库双 11 队长陈锦赋与 InfoQ 主编王一鹏，一同揭秘了双 11 双 12 背后的数据库技术...“大促的时候用比较高规格的存储机头，就是计算存储节点，一些熟悉数据库朋友的可能把它定义为引擎层、执行层，那是一个高规格的数据执行节点，但是我在日常不需要这么好的节点，就意味着它有个升降配的过程。...“那这背后对于一个新的数据库产品类型的要求，实际上整个业界大家都是在探索阶段。” 写在最后 双 11 双 12 背后的数据库技术支持远不止于此。

31.6K50
您找到你想要的搜索结果了吗？
是的
没有找到

MYSQL 忍不了, MYSQL 8 你脑子锈透了吧?

数据库也是一个产品,并且数据库是一个综合性,服务面广的产品, 所以迭代的问题是需要考虑的, 当然这也是一个矛盾, 步子太大会"扯蛋"....想想那推广的速度应该是比现在好. 3 INNDOB CLUSTER , 最早叫MGR , 这个功能在复制领域只能说鸡肋, 大厂们要从传统的复制变换为 INNODB CLUSTER 估计是难了, 小厂是可以使用...所以根本的问题没有解决, 尤其在大型企业数据库选型来说, 后期的维护成本太高, 不如就直接上分布式的数据库, 反正最后MYSQL 还的分库分表,中间件, 不如就直接越级,一个数据库的选择对于企业的应用开发和后期的使用是很重要的...所以有些企业使用MYSQL 8 等了又等, 不知道哪个好,应该用那个....包括一些商用的备份软件在MYSQL 8 上都失灵了, 具体是哪家就不说了,反正到目前为止这个商用的备份软件仅仅能备份,无法正常恢复MYSQL 8 数据库.

1.3K20

服务器灾备解决方案–两地三中心(图文详解)

大家好，又见面了，我是你们的朋友全栈君。 说明 灾备： 是指容灾和备份。...应用级 容灾的 RTO 通常 在 12 个 小时 以内 ，技术复杂度较高，运行维护的成本也比较高。 业务级容灾 是生产中心 与容灾中心对业务请求同时进行 处理 的容灾方式，能够确保 业务 持续可用。...与异地灾备模式相比较，本地双中心具有投资成本低、建设速度快、运维管理相对简单、可靠性更高等优点；异地灾备中心是指在异地建立一个备份的灾备中心，用于双中心的数据备份，当双中心出现自然灾害等原因而发生故障时...切换问题不仅仅是灾难发生自动切换到好的机房，还有另外一个问题，就是灾难机房恢复能力后，如何再切换回去，切换回去的数据同步问题又是需要解决的。 4.2、跨机房流量问题。 跨机房的流量是花钱的。...业务以及基础组件异地双活方案 数据库的异地双活 Zookeeper异地双活 先来点背景知识： 1、zookeeper中的server机器之间会组成leader/follower集群，1:n的关系。

14K103

两地三中心是什么意思「建议收藏」

大家好，又见面了，我是你们的朋友全栈君。...同城双机房指的是在同一个城市或相邻的城市建立两个相同的系统，双中心具备等同的业务处理能力并通过高速链路实时数据同步，日常情况下可同时分担业务及管理系统的运行，并可切换运行，当意外的情况下基本在保证不丢失数据的情况下可进行灾备应急切换...4、核心技术：1-3级灾难恢复能力：备份集技术、4-5级灾难恢复能力：副本数据管理、持续数据保护等技术、6级灾难恢复能力：网关&存储双活、业务连续性服务等 5、RPO&RTO级别：小时级、分钟级、...数据有效性验证：即时的数据验证 7、数据有效性验证：统一编排恢复验证计划，自动测试并输出详细报告 8、数据利用：任意时间点的分钟级数据挂载，以进行开发测试、查询分析等 9、数据加密：云采用从传输层、存储层、数据库层全程加密的方式...，保障数据全程处于加密状态；且加密密钥可由客户自主管理，并支持定期进行密钥更新 10、操作方式：一站式灾备数据管理WEB平台，一键管理 11、备份功能设置：定时备份、增量备份、永久增量数据备份 12

2.2K30

翻过那座山，就能看见海｜kubernetes让DBA更优雅地管理数据库

： 安装部署复杂，从硬件组装到OS安装到数据库软件的部署 数据库手动管理，易出错 监控、备份脚本化，手动编写、维护、推送脚本。...如果按照平时的交易量来规划，那么双11当天如何紧急扩容，过了双11，硬件资源如何处理？如果按照双11的交易量来规划，那就意味着平时要浪费99%的资源，这个成本从哪出？...在大规模计算领域，通过云的弹性特征进行离在线混合部署，是一种非常好的资源利用最大化的手段。...QFusion 3.0作为涵盖数据库全生命周期的RDS云平台，数据的备份与安全存放是产品设计考虑的重要一环，涵盖数据库的定时备份，备份有效性校验及数据恢复服务。...11.png 12.png QFusion 3.0 RDS云平台高度的产品化将数据库全生命周期管理工作全部以web形式呈现给用户，轻松速学易上手，极大解放DBA的生产力。

4.8K80

有关wordpress建站的7个必知常识，80%的人可能都还不知道

1、网站的备案问题 到底要不要备份，备案麻不麻烦，主机备案还是域名的备案，更换了主机需要重新备案么？...选择什么地域的主机，选择哪家的主机好等等一系列的问题？...5、备份与恢复的问题 新手做网站一定要先学会备份的工作，学习备份和恢复备份，不然你多半会出现欲哭无泪的结局，这样的案例我已经见过很多的了，自己完全不注重这方面的工作，以为自己的站点不值钱没有人看得少没人黑的...，其实不是这个道理的，做网站的一定要理解备份的重要性，再怎么强调都不为过的。...备份可以有插件去实现的，也可以自己打包备份网页文件和数据库的，只有不定期备份自己的网站有备无患才能做到万无一失的。

5.1K20

MySQL数据库托管的一点感悟

言归正传，上周五给某个业务方做了一个数据库的托管需求，在整个过程中，不是特别顺畅，这里大概记录下。 01 背景 背景介绍： 业务同学在业务初期，自己维护了一个MySQL数据库，是单实例的。...需求： 需要将这2个T的数据库托管到DBA平台的MySQL数据库，并将业务应用切换到新的实例上 方案分析： 这个需求本身操作起来比较简单，分成下面几个步骤： 1、先搭建一套主从复制集群 2、将主库和业务的...d、偏移量位置备份。如果使用mysqldump来进行备份，需要使用--master-data参数来保存当前的一致性备份偏移量。...4、业务切换后的双写问题 在业务切换的过程中，可能会出现一种中间状态，就是切换了一半的业务过来，另外一半还在原来的服务上，这样有可能出现双写，从而产生主键冲突问题。...所以，一种好的办法，就是提前在纸上列好checklist，这样在操作过程中，一项一项对照，才能做到有的放矢，忙中有序。

3.1K10

图形化探索：快速改造单实例为双主、MGR、读写分离等架

一、做数据库全量备份 使用GreatADM针对单实例做全量备份，选择【备份管理】执行单节点的全量备份，在备份之前首先需要配置备份方式。...GreatADM支持多种数据库架构的备份，且可以按照用户需求，选择备份不同项目的数据库，以及按需选择数据库主节点、或从节点备份。...完成备份，如下生成的备份记录 完成备份之后，可点击【备份详情】查看本次备份的配置信息等。 操作系统路径下对应的备份集，与数据库实例同在一台服务器的不同路径下。...二、恢复为双主复制架构 基于备份做架构变更，基于全量物理备份做数据的恢复，和新架构的变更创建。基于全量备份恢复导172.17.134.60、61两台主机，来改造成新的主从，或者双主架构。...完成单机改造为新的双主复制结构。 三、恢复为MGR架构 同样，选择单机601的备份集， 删除之前172.17.134.60、61的数据库，释放主机资源。

16820

MySQL两地三中心方案初步设计

大家好，又见面了，我是你们的朋友全栈君。 这是学习笔记的第 2057 篇文章 今天梳理了下两地三中心的一些方案设计，算是抛砖引玉吧。...，短期目标可以充分借助开源红利和业务场景进行落地，在落地过程中不断的迭代改进；长期目标可以选择更为通用，技术挑战较大，业务效果好的方案（如异地多活）。...在设计上可以和应用层结合起来，有两种部署模式：分为应用层双活和数据库双活，应用层双活和数据库单活。...1） .应用层双活和数据库单活方案： 应用层双活，数据库单活：两个机房的应用程序同时对外提供服务，但是只有一个机房的数据库提供读写，另外一个机房的应用程序需要跨机房访问数据库，数据库之间单向复制。...2） 应用层双活，数据库双活方案 应用层双活和数据库双活：两个机房的应用程序同时对外提供服务，两个机房的数据库也同时提供读写，每个机房的应用程序读写同一个机房内的数据库，两个数据库之间双向复制，通过一致性协议解决双向写冲突问题

1.5K10

同城双活与异地多活架构分析

架构方案较为简单，核心是解决底层数据双活，由于双机房距离近，通信质量好，底层储存例如mysql可以采用同步复制，有效保证双机房数据一致性。...服务规模足够大(例如单体应用超过万台机器)，所有机器链接一个主数据库实例会引起连接不足问题。 三、两地三中心架构 所谓两地三中心是指 同城双中心 + 异地灾备中心。...异地灾备中心是指在异地的城市建立一个备份的灾备中心，用于双中心的数据备份，数据和服务平时都是冷的，当双中心所在城市或者地区出现异常而都无法对外提供服务的时候，异地灾备中心可以用备份数据进行业务的恢复。...架构方案较为简单，核心是解决底层数据双活，由于双机房距离近，通信质量好，底层储存例如mysql可以采用同步复制，有效保证双机房数据一致性。...灾备中心能防范同城双中心同时出现故障时候利用备份数据进行业务的恢复。 劣势 数据库写数据存在跨机房调用，在复杂业务以及链路下频繁跨机房调用增加响应时间，影响系统性能和用户体验。

9.5K62

全能数据库一体机QOne：一次投入，一应俱全，一劳永逸

QOne的优势在哪里 难以置信的性价比 在过去，如果企业用户想要搭建一套稳定可靠性能又好的Oracle数据库系统，通常会采用IOE架构或者x86服务器加集中式存储的架构，不管是哪种架构，购买、集成以及维护成本都很高...双副本数据保护模式，一块磁盘甚至一整个节点故障，都可以保证数据的完整性。即使在双节点同时发生故障的极端的情况下，QOne的True-CDP备份技术，也依然可以确保数据不丢失。...（2）QDA功能特性 · 24 x 7高可用 双节点RAC，加上独创的QDVote仲裁软件，可以做到任意一个节点宕机不影响上层业务，为企业用户提供24 x 7的数据库服务 · 双副本数据保护 双副本数据跨节点分布...创新数据库还原技术，查看历史时间点数据，无需导入全部备份数据即可创建指定时间点的数据库，完美解决了恢复时间过久的问题 · True-CDP备份 重做日志是常见数据库中实施事务更改的基本途径。...· 增量存储 增量备份时执行的一种高空间效率、基于指针的物理完全备份。增量备份可消除重复数据，将存储效率提升 10 倍以上，具体取决于受保护数据库的数据集和更改率。

1.7K20

ORACLE一键安装11G12C18C19C并建库脚本（shell脚本）

--增加建库后crontab自动配置删归档和增量备份脚本。 --增加oracle数据库参数优化配置。 --增加swap空间判断，自动挂载缺少的swap空间。 --19C安装最低linux7版本。...--增加图形化界面安装支持 --增加Linux8安装19c支持 --增加RAC双节点模式支持 一、如何使用脚本 详细README可查看：Oracle一键安装脚本ReadMe文档 1、新建一个sh文件，将脚本复制进去...-. 1 root root 279608 Apr 7 12:47 rlwrap-0.42.tar.gz --配置好IP地址 [root@orcl soft]# ip a 1: lo: mtu.../AllOracleSilent.sh -rd /u01/app/oracle/product/11.2.0/db 根据提示进行选择，卸载数据库： ? ? 如上，已完成数据库卸载。...4、自动配置crontab和数据库参数，配置数据库随主机自启动等（可查看安装执行日志） 包含归档删除和增量备份脚本的创建，脚本存放于/home/oracle/scripts 包含数据库对应参数的优化 ?

1.3K31

客户将数据库迁移上云的常用办法

以前，经常接触的政企云项目，一般由服务商配合客户完成迁移方案的拟定，服务商将云资源分配好，由客户自身的厂商完成应用、数据库的迁移。...一、首先介绍几个数据库迁移备份的术语。 热备份：在进行数据库迁移备份时，用户原数据库业务不中断，仍继续产生新数据。...温备份：在进行数据库迁移备份时，用户原数据库业务仅产生读操作，不允许产生新数据。 冷备份：在进行数据库迁移备份时，用户原数据库业务中断。 物理备份：直接将数据库文件进行备份，简单粗暴的办法。...逻辑备份：将用户数据库按sql语句进行备份，备份内容为文本。 完全备份：备份当前的全部数据库。 增量备份：仅备份上次完全备份或上次增量备份后的数据。...针对用户希望做到秒级数据同步、零数据丢失的要求，采用Mysql主从配置进行数据的云上、私有云的同时双写。唯一的问题是该方案针对不同的数据库需进行不同的脚本操作，同时需操作用户的数据库（存在安全风险）。

1.3K30

mycat实现读写分离_mycat主从复制

大家好，又见面了，我是你们的朋友全栈君。...就可以连接 update user set host=‘%’ where host=‘::1’; 刷新权限（让修改生效）： flush privileges; 3.1.2 mysql主从及双主双从配置...1）双主双从规划图： 2）具体实现： 以mysql1为基础，克隆出mysql2,mysql3,mysql4 修改IP及主机名称 vim /etc/sysconfig/network-scripts...，从而实现了主从复制的功能 3.1.4 好处 负载均衡 ：业务量增大时，I/O读写频率变高，单机可能无法满足需求，使用主从，让从服务器分担读压力，实现负载均衡 数据备份 : 传统的备份，都是本地备份，但是存在弊端...概念，原理 概念： mycat 是活跃的、性能好的数据库中间件，是mysql集群数据库中间件。

64530

学通信的施耐俺——水浒新传「下篇」

16 云备份 潘潘的家长不满意大郎，也不愿意女儿与西门在一起，于是发动王大婶四处帮忙物色合适的对象，王大婶夸下海口，手里有大把好资源，保证潘潘家长如愿以偿。...原意：云备份，就是把个人数据的通讯录、短信、图片等资料通过云存储的方式备份在网络上面。云备份的特点：1.备份数据更加安全2.支持多平台管理3.数据传输加密更放心。...17 访问控制 热情的王大婶受潘潘家长的委托，努力帮潘潘物色对象，不管条件如何，只要是打听到哪家有单身的小伙纸都介绍给潘潘，潘潘家长觉得这是在浪费时间，于是给王大婶提出了一些样貌上和物质条件上的一些要求...纵向扩容适用在数据库层，因为数据库服务器需要：更大的共享内存空间、很多相互依赖的线程、紧耦合的内部互连接（Tightly-coupled internal interconnect）。

73220

高校容灾备份方案 2.0

本文叙述了高校业务系统及数据容灾备份方案 2.0 的应用探索和实践，介绍了数据库双活、应用秒级容灾和数据级实时备份、虚拟化平台备份等综合性创新应用，满足当前教育信息化 2.0 行动计划的信息安全需求...关键字：数据库双活 容灾 CDP 虚拟化备份 一、行业背景 新一代信息技术、通信技术、人工智能的飞速发展，给教育信息化的腾飞插上了翅膀，大部分的教育机构也在“教育信息化 2.0 行动计划”的发展纲要下，...2.建设目标 充分考虑当前信息系统的现状，并借鉴目前网络安全法、等保 2.0 等政策法规对高校信息系统安全的要求，建设业务系统容灾备份保护需要达到以下目标： 规划好系统的等级保护和分级保护； 数据损坏、...△容灾备份方案 2.0 2.0 方案覆盖数据库系统故障、应用系统故障、单机单点故障、逻辑错误&病毒攻击、自然灾害等场景，满足高校在数据库双活、云灾备、容灾秒级接管、数据持续保护等容灾备份需求，具备了多层次...、多策略、全域的特征优势，其重要功能应用如下： 1.Oracle RAC 数据库集群容灾备份 通过数据库结构化同步软件 i2Active，对 Oracle RAC 数据库集群环境的业务系统，进行一对一的双活保护

1.5K30
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券