00:03
各位线上的朋友们大家好,欢迎参加腾讯云企业创新在线学堂系列的直播活动,我是本次会议的主持人Lisa。腾讯云企业创新在线学堂啊是围绕中小企业的业务需求,聚焦在企业经营管理、应用工具、技术创新、安全底座这四大需求场景推出的系列直播课程,携手腾讯云创新驱动无限可能,共同开启企业成长的新篇章。中小企业啊在使用传统自建MYQ过程中,面对经常性出现的性能瓶颈为困难,数据可靠性和可用性难题往往无计可施。腾讯云数据库MYSQL为用户提供更轻松的云上设置、操作和扩展数据库服务,搭载企业级内核提升数据库性能,搭配数据库代理、弹性CPU等多项功能,全方位的保障业务安全稳定运行。通过使用腾讯云数据库MYQL可以实现分钟级别的数据库部署、弹性扩展以及全自动化的运维管理,不仅经济实惠,而且稳定可靠,易于运维。那近期呢,云数据库买QL推出了集群形态,解决了现有形态横向扩展受限、客户扩缩肉慢等问题,为您提供快照恢复、急速变配、暂停、实力机等能力,在高定的服务上啊再添灵活性,本期课程呢,将由三位专家来为您分享如何突破物理机的规格瓶颈,数据库MY如何又稳又灵活。好啦,那接下来呢,首先就有请今天的第一位分享嘉宾,来自腾讯数据库专家架构师朱静卓。朱老师此前在多家互联网大厂从事数据库的相关工作,在数据库自动化运维,数据库自动化平台开发、数据库迁移方案制定和实施、数据库性能优化等方面丰富的实战经验,嗯。
01:58
欢迎朱老师给我们带来腾讯云数据库MYSQL,让中小企业数字化转型更简单高效的主题分享,有请。
02:07
哎,大家好啊,那个首先呢做一下自我介绍啊,我是朱静主,是腾讯的一个数据库专业架构师啊嗯,今天呢,我的分享的主题呢,主要是从下面的四个方面来介绍腾讯云的一个数据库啊,重点还是让我们这个能够更加高效和简单的使用云上的一个数据库。那下面的话,我是从四个方面来去整体介绍我们的一个这个今天的一个分享,一个是我们腾讯云数据库买的一个架构介绍,另外一个就是如何更好的使用云上的一个数据库,另外一个就是我们的自建数据库呢,云云数据库之间的优优劣势的一个对比,和如何从自建啊,或者其他这个让云上来迁移数据库上云。那第一部分呢,主要就是介绍一个腾讯云上的一个马赛克的架构设架构设计啊呃,腾讯云的数据库呢,是2020年的云的一个买S数据库呢,达到百万盒和百万TB的一个百TB的一个双百的集装碑,那从这个性能,稳定性,安全性和性能等方面呢,全面的建设云的一个马Q数据库产品,目前呢,腾讯云内部的一些这个数据库产品。
03:21
那可以支持我们现在内部的很多像微信、QQ以及游戏等等业务,那其实都是用数据作为数据底座。另外呢,就是它这个稳定性啊,可靠性等等是可以得到绝对的一个保障的。嗯。那其实都是基于呃,VIP的一些接入,以及主备的一个高可用的一个架构部署,以及像这个主备跨可用区的一个部分,防止单点的故障,横向扩容RO节点,以及像应对一些大流量的这种查询,我们还可以支持这个异地的在位实力的一个部署。
04:00
那等等应应对这个,呃,地域级别的故障切换那。这个是我们呃可以刚才介绍到的这一些,呃整体的像呃主备的一个跨可能区部署,以及啊主备之间的这个高可用去切换的一等等一些特性啊,那第二部分呢,我是呃主要的内容呢,是如何使用云上的一个数据库。那我们可以看到啊,就是腾讯云数据库呢,它有一些很多的一些核心的功能矩阵,像我们从这个内核啊,高性能方面去做优化,以及高可用,高可靠以及安全,以及如何辅助我们,嗯,如何辅助我们更好的使用数据库啊等等这几个方面做了很多内核的的一些,呃,优化改造那。而重点呢,其实我可能就围绕几个下面的两个能力呢,去做重点的一个介绍啊。啊,一个就是数据库代理,那数据库代理呢,我们,呃,如果说之前没有用代理的时候,我们的架构可能是左边这一部分啊,呃,如果业务这边是通过主库来去写入啊,自己呢,又要去通过IO节点或者是其他的一个方式来去业务做这个读取分离的一个设计啊,那右边部分如果使用到的这个数据库的代理之后呢,它是可以啊整体的通过数据库代理自己啊,可以去做一些这个读写分离啊,嗯,我们可以开始看看啊,那个读写分离,另外一个就是可以统一化我们的读写分离的这个地址。
05:34
啊,而且呢,它是支持原生的这个链路啊,支持提升一些性能,减少我们的维护成本的。另外一个就是啊,像数据库在里面也做了一个防闪断的这种一个特性呢,它可以支持到,比如说我们云上数据库的主库会有故障切换的时候呢,可以维持这个,呃,链接不断,那这个业务这边可以。啊,无感知它的底层的主备的一个切换的情况。
06:04
当然还会有一些,它在切换的过程中呢,它是维护一些session级别的系统的一些变量以及字符集等等这种能力。方案啊,那第二个第二个特性呢,其实我们可以看到,其实就是云上现在对啊,就是我们现在的一些CPU的一些弹性扩容的一个能力啊,其实这个这个点呢,重点是说啊,应对业务的一些突发流量,它需要更多的这个CPU资源去承载我们的一些查询啊等等等等。那呃,在这个能力之前,那只能是说应对这种流量的时候,业务手动自己去做一个实力的升降配啊,升升配或者降配,那有了这个能力之后呢。它可以支持两种两种能力啊,一种就是自动的扩容啊,一种是是手动的扩容,自动扩容呢,其实就是说啊,我们去设置一个CPU的使用率和一个阈值,以及观察的一个时间,那它呃,当你的实力使用到这样的一个数据库的频率的时候,它会自动给你往上去做这个实力的CPU内核的弹性。
07:06
往上谈,那手动扩容这里呢,其实就是说我们自己发现的监控需要去做手动扩容的,那你可以去额外的增加它的这个CPU啊,这就下面这一部分,其实基本上都是我们啊人手工去做的一个设置啊,但是时效性上可能会有一些啊差距。那这个其实就是我们现在看了一下,就是会有三种类型,一种是没有做CPU弹性的,另外一个就是手动去做CPU弹性,一种是做一个啊自动CP的弹性,那其实我们可以看到从整个这种呃周期来看,手动的弹性呢,其实就是一开始的这个时间到结束这个时间可能得30多分钟,那如果我们设置了自动的这种CPU弹性,当你的。呃,业务流量上来的时候啊,那触发到你的这个自动扩容的这个阈值之后,它会自动的往上,所以你可以看到就是这个CPU的使用率它会降下来,那到后面的一定的观察时间之后,它如果说业务流量下来之后,它会自动的再把这个CP弹性啊这个降下来,那这个整体的这个,呃,最大的优势点呢,在于说我们可以去看到就是啊,这个费用的计费上,它可能会有一个啊1/3左右啊。
08:21
而且呢,这是个最大可以保护我们的这个啊,CPU的使用率,以及我们业务的流量。那第三部分呢,其实就是自建数据库和云数据库的一些优劣数据对比啊,这部分呢,其实我们可以看到从整个性能啊,成本,可用性和应用性等等方面可能去比较,那重点呢,如果说我们要去自建的话,可能从机房的一些啊硬件啊带宽等等,那和云上的这个云上的实力,其实只需要一个这个实例的一个费用,那如果你自建可能。啊,电梯房等等都还需要去考虑这个硬件啊,然后带宽的一些成本啊,以以及后面比如说我们从数据库的稳定性呃,构建完备的这个监控啊,运维管控,高空用的切换系统以及备份系统等等这一配套的这种所有的周边环境的这种配置上来去看,就是云上,它其实是天然支持这些的,那如果说我们要去做一些自建的这种场景,我们可能需要一些周边的这种系统的一些建设啊,啊,一个是人力,另外一个就是你服务器的这种,呃呃,话费应该也是比较高的啊。
09:30
另外一个当然我云上可能还会提供一些这个像性能方面,像云上它有专门的内核团队啊,它能够提供一些这个合适的高性能的一些数据库的内心的机器,以及比如说会建一些DB啊,和这种辅助你业务去定位,SQL曼查等等这种的一些能力啊,以及像备份回档等等,那从整体上来说呢,是云上的数据库比自建数据库有诸多的优势啊,那我们来就是,那我们这下面的话,就是整体来看一下,就是从这个下面啊,这就是从性能上可以看了,就是大部分来说啊,云上数据库会有比较大的这种优势啊,1~2倍的这种性能的一个提升。
10:08
那下面呢,重点呢,就是介绍一下这个如何快速的迁移上云。那这一部分其实我们,呃,腾讯云是提供了一个数据库迁移的一个工具啊,DTS那支持原端,像支持SDB等等自建的一些各种买库,那协议的一些啊数据库啊,通过DTS的这种全量加增量,以及这个后面的这种数据订阅等等这种能力迁移到目标的语音的一个数据库上。那这一部分其实就是我们迁移的一个这个原理啊,而可以看到其实它的原理其实就是说原端数据库的导出,导目标端数据库的导入,以及呢,它会把增量的这种blog的接管过来之后,做这种blo解析啊,之后应用到我们的目标库上,另外一个就是我们可以看到它还会有一个数据校验的能力,因为它要保证我们迁移过来端和数据库的目标端之间的数据的一致性。
11:05
那这个其实是一个实例啊,就是云端的话,它是支持像马等等这种的数据库的一个类型,支持我们全量加增量的数据库的一个同步啊。啊,以及比如说我们去支持一些断点续传啊,数据库一致性的校验等等这种。以上呢,其实就是我们这个本次的一个分享内容啊,感谢大家的这个倾听啊。非常感谢朱老师的精彩分享,那今天呢,接下来接有请我们今天第二位分享嘉宾,来自keep数据库资深架构师杨书强,杨老师啊,负责整体数据库的架构规划与管理,此前呢在多家互联网公司负责数据库管理,有多年的数据库管理运维经验。今天杨老师给我们分享的主题呢,是keep在数据库上的探索与实践,有请安老师,哎,大家好,呃,我是这个keep这边的DBA,然后的话就是。
12:06
我今天就给大家分享一下,就是K的数据库,然后在那个腾讯云上的一些的就是使用方法,然后就是一些那个就是腾讯云给我们的一些赋能。然后首先的话就是这个。呃,Keep的话,我们其实作为一家这个全球化的运动科技公司,我们是相信科技的力量,然后是以数据为基础,不断的钻研,这个就是前沿的科技,然后持续为用户提供优质的解决方案。然后我们的目标是最终成为全球最大的智能运动。运营商。然后的话就是今天咱们就是讲的内容的话,就是包括就是keep,在这个就是腾讯云上面这个数据库是怎么选怎么用,还有就是这个。给我们就是keep我们的业务带来什么便利?
13:04
呃,首先的话,其实我们这边的话,Keep主要的就是业务功能,包括商城这块的话,主要就是对这个业务的需求,包括这个就是高并发数据一致性。还有就是数据分析与统计。呃,我们其实的话就是这个数据库,现在的话整体上都已经迁移上云了。然后的话就是基于云的一些,就是可用性,稳定性的保障。以及就是这个运维工具来提高我们就是就是DBA的这个运维效率。然后里边有也有一些很多的,就是这个就是生态工具,比如比如包括这个呃,就是呃一键诊断,还有就是这个就是数据库审计。然后可以就是给我们提供一些就是top的一些功能。然后下边的话就是我们的电商场景的一些,就是使用的一些方式。
14:05
首先的话就是我们的服务就会通过就是这个,呃,它涉涉及的有这个电商,还有就是门店。然后通过这个数据库代理。连到我们下层的就是这个数据库买,然后我们的部署方式的话,就是会在多个可用区部署。然后就是在这个就是。下边的话有这个两有这个只读节点。然后在这个就是。主从的上面会有一个数据库代理,然后去做这个数据的读写分离。电商的业务场景。其实有一个就是。呃,显著的特征就是这个就是并发流量会比较高。然后对数据库的架构还有扩展,就是扩展性还有灵活性。就是有一些要求。所以说呢,就是我们就是这个,呃,电商的业务,它的数据量也会比较大。
15:05
然后依就是依托这个腾讯云的这个MYSQL,其实可以给我们提供这个高性能,首先的话,它可以解决这个热点数据,然后并发性能的瓶颈,然后可以快速的弹性扩容。然后这块的话,其实就是也是我们的一个就是呃一个就是提出的一个需求,就是呃,我们想在这个,比如我们在双11或者618的时候,然后如果如果就是说我们的数据库的流量比较高,我们可以CPU可以达到70%之后,之后可以自动进行这个扩容。然后现在腾讯云这个产品也支持这样的功能。然后下边的话就是一个高可用,我们的部署的话是在多az部署的。然后的话就是它可以支持这个就是可用区的切换。下边的话就是这个数据安全,当然数据安全其实对于我们这个DB来说,这个也是保障我们数据库稳定性的一个很重要的一方面。
16:09
所以呢,我们就是。就是通过这个腾讯的产品,可以有效的防止恶恶意攻击,然后数据泄露,还有人为操作不当引起的安全风险问题。然后下边的话就是我们,我们对应的就是这个推荐的搭搭配能力,包括这个跨区部数据库代理弹性扩容。还有就是这个数据库审计。异地备份容灾。然后我们,呃,我们的话就是数据库审计会用的多一点,然后就是说一方面是安全方面的需求,就是安全的合规要求有这个数据库审计,此外的话就是我们会通过这个数据库审计去对这个就是高流量的circle进行这个监控。
17:02
啊,下边的话就是这个核心的交易业务的架构。这个需求的话,其实我们对这个业务的需求,包括这个高并发读写。数据一致性,还有就是这个实时数据分析。扩展性。以及这个容错与恢复能力到最后的事故处理。嗯。这些需求其实对电商业务来说,它都是一些就是特别硬性的要求。然后所以呢,我们就是对应的这个解决方案的话就是。呃,首先是跨可能跨可用区部署。然后第二的话就是通过阿组横向扩展,可以就是提呃,提供一个弹性。然后第三的话就是跨地域的部署。跨地艺术不古署,以及这个数据的一些栽培。然后这个数据库的备份,以及就是基于时间点的恢复,这个的话,其实我们之前的几个case的话,就会用到这个基于时间点的恢复。
18:07
然后去给这个业务去数据做这个数据恢复。然后的话就是,嗯,其实我们去用这个腾讯的产品就是。总的来说,其实呃,它的性能其实比有些云厂商的性能要好一些。然后呢,他有他有自己的,就是这个对应的一些一些特征,然后就是首先的话就是数据库代理。呃的话就是它可以做到自动读写分离。然后的话,这个应该就是我们日常业务扩展的一个很重要的一个,就是我们的一个方法。然后进行这个事物拆分,它可以将一个事物中的读和写拆到不同的实例上面去执行,然后也就可以认为就是它实现了一个就是对应的一个读一写的分布式事务。
19:01
然后下边的话有这个防闪断的功能,提供无损的应用连连续性。然后调整不会导致这个连接和事物的中断。然后第二个比较就是有用的功能,就是CPU的弹性扩容,它可以轻松的应对流量高峰。尤其是对于我们这个大型的活动。然后比如说在那个就是晚上的时候,高峰会有一个流量的一个波,一个一个就是那个。呃高峰它对应的话,我们可以依赖于这个CPU弹性扩容给我们的实力,可以在这个呃做一个快速的就是这个呃扩容。然后就是。在它扩容之后,然后在那个CPU恢复完之后,它可以就是可以就是对应的就是它那个,呃,可以再把它给缩隆下来,这其实可以就是做到一个极致的弹性。
20:00
可以控制这个我们数据库成本。然后第三块儿呢,就是这个功能的话,就是数据库的备份,包括这个全备,还有这个基于时间点的备份。然后的话,有了备份的话,他也可以支持这个克隆的回档。这个功这些功能的话,其实在我们数据库出现这个业务删除的这种情况场景下是。非常有效的去做我们的数据恢复的。然后最后的话就是这个,嗯,就是特别推荐的一个就是功能的话,就是数据库的智能智能管家。这里边的话就会给我们提供一些就是买S的一些实例,负载监控,还有关联分析,我们可以通过就是这些功能去诊断具体的搜后语句。然后的话,通过这个日志,呃,日志分析的能力,可以提供这个全量的circle分析能力,还有就是这个给我们就是一些top circle,这个对于业务来说,这个捕捉这个比如说业务有流量的,就是说的流量有上涨,我们去。
21:13
去去那个,呃,怎么去发现我们这个流量是什么酸后成分,然后就是。呃,造成的,我们就可以通过这个就是审计日志分析的能力。然后下边的话就是这个SQL语句的优化方案,它提供了就是SQ的改写,以及这个索引的设置。然后下边的话就是最后一项的话,就是有一个就是这个。就是磁盘空间的一个趋势,我们可以根据这个这个趋势,我们可以判断就是这个磁盘空间的一个增长情况,然后去分析我们这个磁盘还有多长时间需要做扩容。我今天的分享结束了,谢谢大家。
22:01
非常感谢杨老师给我们带来的案例分享,那接下来呢,有请今天的最后一位分享嘉宾,来自腾讯数据库高级产品经理陈昌明老师,陈老师呢,作为腾讯云数据库MYSQL产品线的负责人,在高可用解决方案、信息安全、系统规划、性能优化、灾难恢复与信息系统整合方面有着丰富的实践经验,曾为网络运营商、银行、能源行业例如国网、南网以及政府等行业的关键业务系统提供运维升级、项目实施与管理、容灾建设等疑难问题咨询与技术实施服务。欢迎陈老师带来向着云原生进化新架构下的腾讯数据白主题分享,有请。嗯,大家好啊,感谢刚才两位老师,然后精彩的分享也通过刚才的分享,然后大家了解到当前腾讯云数据库MYSQL在高可用性能,呃,可用性,然后安全,然后备份完备性等几个方向上都有非常完善完备的。
23:12
呃,功能点以及技术储备,那在这样已经很完善的体系下面,我们下一步该朝哪个方向去发展和提升,然后是我们急需去思考并且实现的这样一个。过程,所以接下来我将给大家分享我们下一代产品,或者说下一个形态将是什么样的。一个实现好。以下会分为三个部分,然后给大家进行一个分享,第一就是我们新架构所诞生的必要必要性,第二个就是新架构的内部的一些特殊实现,以及最后呃,我们新架构。
24:00
本身发展的一个road map.哦。第一个,为什么我们需要新的一个架构?当前的MYSQL的产品其实可以看成一个存算一体化的一个架构,即计算资源与存储资源在同一个机器上,那在这样的一个架构下能带来什么样的好处呢?首先可以提供极低的一个IO响应时间。面对。呃,IO密集型的这样一个。场景的话,能够提供非常好的一个机械性能。那大家不管是用C还是T,然后在一些相对数量较大,并且。啊,Buff没有这么高,或者有大量数据写入的情况下,那在极低的IO响应时间情况下,都能获得一个比较好的一个性能。啊,并且如果本地具备资源的话,也具备本地的一个资源弹性啊,无损的一个弹性,刚才啊朱老师已经分享了,就我们具备一个CPU弹性的一个能力。
25:05
并且基于存算一体化的架构下面,它的整个网络拓扑是非常的简单。就你可以很轻松的去实现你的高可用的架构,比如说添加只读实例,添加你的跨地的在位实力,然后将你的备份做到异地传输。ED备份。然后能够通过异地的备份或异地的实例来进行本地的一个数据恢复,然后同时你的整个网络同步链路啊的拓扑非常的简单啊,易于扩展。但是纯算一体化的架构也会有另外一个问题,并且是长期困扰着我们。就首先。由于存储不可移动啊,不,不具备灵活的挂载性,那就导致了我们整体的备份恢复时长啊,是比较长的。第二个由于存算一体化的价格,那导致我们的计算规格和磁盘的规格中间是有一个强绑定关系啊,这样才能做到资源的最合理的分配啊,以及将最高性价比的产品,然后提供给大家。
26:10
然后还有一个点,就是我们的计算资源在袋子上也会受到明显的一个限制,就更换底层的。哦,计算资源会成为一个成本代价非常高的一个事情,很难让用户使用到最新的一个计算资源架构和代次。并且在大量的运维过程当中,你的特性发布以及底层功能更新会变得相对的缓慢。它的更新代价和成本是非常的高昂的。那为了解决以上的问题。我们推出了一个新的形态,叫做集群码架构。该形态是完全基于。啊,云原生,然后进行开发的。我们可以看到计算层和存储层,然后进行了一个分离,然后中间通过高速的tab网络,然后进行关联。
27:01
哈,网络的话也是的,腾讯云团队然后开发了一个高速的,然后存储访问网吧。然后有。有接近rdma的一个访问的效率和速率。好,提供了极低的时延以及非常大的带宽,那将整个云存储这一块的访问效能提升的非常的高。同时,基于不可见的。非指定型号的一个计算资源层的话,我们将规避掉不同的计算资源所带来的算力差异,将算力作为我们对外提供规格的唯一标准。用户能够更直观的通过对应的规格来评估自己的需求,以及在不断的迭代过程当中。它的算力的增长以及红利也能充分的利用到。用户可以享受到最新再次的。计算资源所带来的啊,算力红利。
28:02
还有一个点就由于计算资源和存储侧的资源是分离的。那我们。存储层的。呃,规格上限就不需要再和计算资源进行绑定。那存储资源的上限。啊,就可以做到非常的高。按目前。用户的需求来看,基本上是可以做到100%满足的。然后刚才也说到,由于计算资源和存储资源的绑定,它的整体的更新是它的整体的内核更新,然后是比较慢的,那我们所能够在内核层及去开发的特性以及能力,相对来说就会受到很明显的限制。那在新的架构上面,由于计算层和存储层的分离,那使得我们计算层的内核特性能力更新迭代都得到一个质的飞跃,那后面也会跟大家介绍到我们最近在这样一个新的价格上面所使用到的一些内核测能力。
29:07
好,再回到存储层。存储层由于和计算层的分离,我们在存储层是支持高频快照计每15分钟。就可以形成一个啊快照,然后方便用户快速去恢复,针对一些特定的行业,如游戏啊这样的一个能力是非常非常的关键和重要的,因为游戏有可能随时会有啊,回档啊这样的一个诉求。然后针对一些数据量较大的在线业务,然后也可以,因为它支持非常高的一个磁盘规格。然后能够满足用户的一个数据存储需求。如果再配以啊我们的rock DB的引擎,就提到rocks的一个引擎的话,那就能够实现8倍的数据压缩,那作为一个日志库来进行存储的话。啊,那它的容量就非常的可观。
30:01
并且对于成本的控制来说,也可以实现一个非常好的一个性价比。好,接下来将为大家介绍集讯版的一些啊,具体的特性和内容。啊,第一个。基于集成板的话值。大家有可能会有个疑问。呃,比如说KS或者云生的平台,那大家都呃用过,那基于这样的平台,我如何能够呃增加一些特性来增强。他的一些能力,比如说。当我的实力跨去以后,再重新拉起,如果更换了机器或者做了ha,那对于原有的平台来说。啊,它是需要一个BP逐步预热的过程,通过你的应用访问来不断的加载你的。啊,不然后来将一些热点数据加载到八块铺里面,然后来提升你的一个访问性能,然后现在。
31:00
哦。然后由于呃,基于原生平台,我们可以快速的拉起啊,由快速拉起以后啊,还是原来的存储啊,所以我们就可以让原来的存储记录下来,我原来的巴菲铺热点数据到底是在哪些啊,哪些地方啊,并且把这一部分巴普的数啊,把这一分热点数据快速的加载到巴菲里面来。然后来实现一个巴菲特预热,那针对这样巴巴布的一个预热,我们实测下来,对比没有预热能力的实力,它可以在啊1~3秒内就直接达到原来的一个运行性能的峰值。那如果出现异常以后,可以使得它做到快速的恢复。同时。在一个在这样一个新的架构里面的话,我们还会将读写节点以及只读节点的。啊,包括进行分类。和进行一个传输。然后区分读写节点以及只读节点,它不同,不同的一个包的一个。
32:04
啊,缓存需求,然后来进行一个特定的调整。然后使得在不同的故障场景下,它都能快速的恢复它。所需需要达到的极限性能以及一个稳态。然后在。这样一个情况下,我们解决了计算资源去加载内存,并且预热8F的一个问题,以后我们再来看存储层。由于使用的是cloud就云盘,那存储层会出现一个很明显的瓶颈,就是每一块磁盘,或者说你每一块云盘。它的存储带宽的上限和总量是有限的。当你每降低一次读写的IO,那你就可以把节省出来的读写的IO,然后释放给更需要的。呃,业务侧去使用,因为总量不变,然后所以这一块的话,我们实现了一个能力叫做原子写。
33:03
就是MYD的配一般是16K。然后数据校验也是按照16K来进行的。但是操作系统去写入的话,实际上是以4K,然后每一次进行,然后去进行写入的就。为了防止。呃,配置且出现异常损坏的情况下,然后采用了一个W的方式来完成数据写入,防止。然后你的数据配角,然后写出现异常哦,出现损坏。但是W这个方法虽然很好的保障你的数据的完整性以及安全,但是引入了另一个问题,就是你的写入会有2倍的提升。就每一次数据写入都会写两次啊,一次一次WY,然后一次数据页,那这样的话就在大量的数据插入情况下,会有数据交互的情况下,会有很高的IO的。
34:03
就是I的写入。那为了解决这样的一个问题,然后我们通过文件系统的那个cow,就的这样一个,呃,异步更新的一个机制啊,确保了MYS。16K原子,呃,页面的一个原子写入,然后这样的话,我们就可以取消W这样一个特性。来获得来降低写入的一个带宽,那在降低了你的写入带宽的情况下,可以将这部分带宽完整的释放给。哦,你的读取的业务,或者说提升你的写入的总量。我们从左边的图可以看到,在64并发下,我们进行only的一个场景测试的时候。我们黄色橙色这条线代表的是我们关闭了。呃,W那个W开启了原则写的情况下,我们整体的性能提升大概有30%~40%。
35:03
然后在。在red white这样一个场景下,然后我们的性能提升大概在15%~20%之间。就是当我的外头的IO总体的通道占用减小以后,那我可以释放这部分的带宽到。RA的这样的场景。那这一部分的提升,最终对我们的在写入场景下提升,就能达到非常好的一个效果。那也满足在多场景下面。它的一个IO占用啊,提升了它的一个最终的性能。那除了这两个比较啊,大的非常核心的能力以外,我们也增加了很多内核侧的优化,比如说代码端锁定都备份。On window.IRU.然后网络配置的一个调优。然后这一块的话,在原生平台是非常的明显的,就是原原生平台的网络是非常的复杂的,那针对这一块,不管是通过直连还是跳转,还是打通它的啊,网络底层啊,都是需要去调整它的配置以及技术方案和架构啊,这一块也取得非常明显的一个提升,那内核占用的内存优化,防止使用内存过多以后。
36:21
啊,而导致的实力OM这块也进行了非常多的一个优化。啊,还有那个马那通过以上的这几类这几个特性的提升,我们将。原有的性能又提升了55%以上啊,基本上在就综合场景下啊,提升15%以上。啊,这一块所带来的。进步是非常的明显的。同时我们在未来然后也会有更多的如C优化。然后以及啊边缘化。包括一些劣质优化都会。
37:02
放到。内核层面,然后这个内核不仅是数据库的内核,包括操作系统内核层也一样,就我们会联合起来一起去做优化,以达到一个更好的效果,而这样的迭代在在新的价格上面是可以快速的实现,并且啊灰度铺开的,大家可以快速的使用的。那。除了内核以外,我们来看新的一个架构里面又有哪些特点。第一个我们支持从新制度。在原有的为了高可用的这样一个架构里面,我们是需要通过一个隐藏飞机来提供一个就是ha的。能力。方便在。存算一体化架构下,如果我的读写实力出现了异常,我可以快速的将它切换。啊,到我的重击上,将重击设置为啊读写状态,然后提供服务。在新的架构下。我们的不再存在隐藏被击这样一个概念,所有的冲击都可以被用户访问,作为一个只读实例。
38:06
那对于用户来说,原来所需要购买一个高可用价格的实力,并且增加一个指实力来满足自己的业务需求,而现在只需要购买一个两个节点。的集训版就可以满足自己的。读写需求以及只读的可向扩展需求。并且由于我们是基于快照去进行的。呃,备份也可以。快速的通过快照的方式去增加我们的。呃,节点。并且由于我们具备热加载快照的这样一个能力,快照可以在分钟级进行完成挂载数据根据热点,然后进行一个异步加载,不影响整个呃数据以及同步的。效率、时效性。然后能够在分钟级就完成节点的添加。然后针对不同的节点也和原来有了非常大的一个差异。原来。
39:03
原有的架构下,我们基于整个集群去产生监控,因为我同时只能提供一个可读写访问的地址,而在新架构下面,每一个节点都可以提供相应的访问地址。以及工作,所以我们对于每个节点的监控也可以进行独立的选择。告警配置。然后能够使得用户更广,然后更细节的,更灵活的去针对。这些实例进行一个告警和监控。进行一个。啊,运行状态的分析啊,更好的掌控。那最后我再来同步一下新的架构下面的一个map。我们预计在Q1我们集训版会正式上线,然后到时候官网会有相应的通知以及邀请,大家如果有兴趣的话可以关注一下啊腾讯云MYSQL数据库。
40:07
这样一个官网的页面。然后Q2的话,我们会支持PRO啊,独立指读实例就不再是只读节点,再额外再增加一个独立指读实例,包括生态产品DTSDMC的支持。并且我们支持从原来的已有的。哦,传统的存算一体化的这样架构,一键升级到集群版。然后Q3的话,我们预计会实现输密备份,高频备份,包括备份下载,极速全局回档这样一个能力,那让用户在分钟级别就可以回到指定的时间点的一个数据啊,针对这样的一个场景啊,游戏啊,对于游戏也好,还是竞争客户也好,都会有非常非常强。强的一个诉求,以及它对应的场景方案解决能力。嗯,预计在Q4,然后我们会去实现计算资源的一个化。
41:02
啊,然后最大支持一百二十八一百二十八TB的一个磁盘,并且实现存储的自动化管理,不管是扩容还是缩容,完全根据您的实际存储量。来进行。那这样的话,将使用的成本降到最低,提供最高的一个性价比啊。以上就是集版所有相关的一个信息啊,感谢各位。嗯,感谢。感谢各位老师,感谢陈老师给我们带来的精彩分享,那接下来呢,我们就进入今天的Q园的环节,有请三位老师来为我们解答问题,好的,那首先呢,我们来看一下我们线上朋友提给的第一个问题啊,就是我们集群版目前的定价是怎么样的,那目前在官网上还没有看到产品的介绍,预计什么时候会上,那这个问题请朱老师或者陈老师看看两位哪位来帮忙回答一下呢?嗯,你好,我来回答吧,好的,目前执行版的话,预计在3月底会上线,然后在上线之前大概会在3月15号或者16号啊,同步相关的产品文档以及对应的售价,然后在页面上进行展示。
42:13
好的好的,谢谢陈老师,那第二个问题,第二个问题呢,是给到我们朱老师的,呃,观众朋友们问我购买的数据库实力啊,已经用上了CPU的弹性能力,我想了解一下产品有计划去做内存的弹性能力吗?那这里呢,主要呃是内存空间经常告警存在这样一个问题。朱老师,嗯。这个。嗯,好的,就是目前我们在实现一个原地升级的能力,然后当我们检测到如果本地具备空闲的内存内存资源的话,我们是可以做到本地的快速。啊,快速变配的,所以大家在变配管理页面可以看到有一个极速变配的一个选项,当它是蓝色亮起来的时候,就可以实现一个快速的变配啊,并不需要一个搬迁,但是并不短期内并不具备内存的弹性的能力啊,然后有相关的技术方案正在调研过程当中,但是内远程内存所带来的延迟并不是我们就还没有达到我们所期望的那样一个性能要求,所以短期内还没有这样一个规划。
43:26
好的好的,谢谢,那我们看下一个问题,呃,这个问题是腾讯云数据库的buff po和原生的MY的设计理念是一样的吗?有没有调整的参数?嗯,陈老师还是能来帮我们回答一下,嗯嗯,好的啊,目前来看和原生的并没有太多的差异,然后他的调整参数基本上和开源的保持一致,然后我们所做的相关的优化,然后也只是我们额外做的一些预加载预热,刚才所说的那个BP预热的相关的一个能力啊,如果做到对嗯,MYS内核本身很深的一个定制化的话,其实它就背离了这样一个开源数据库的一个。
44:09
呃,初衷,然后也也会加大用户迁移上来的一个兼容难度,所以这一块的呃,改动的话不太会在腾讯云买circle这样一款产品上进行。好的好的,嗯,那我们看一下下一个问题,第4个问题是呃,观众朋友们问,在云看到云数据库控制台上有参数设置的页面,但是里面呢,并没有包含所有的参数,有的时候需要调整的话,那么就去需要去提供单,那关于这个操作的话,呃,想问问咱们有没有什么呃更好的方式,嗯。啊,目前是这样的,就是由于我们并不能保证每一个参数在调整的过程当中一定不出现意外啊,所以我们对开放的参数有一定的限制,呃,然后针对和其他的云平台对比来说,我们应该开放参数应该也算比较呃全面和比较多的,只是说并不像关呃,你自己在使用自建的情况下,你所有的参数都可以进行一个调整啊,第二是所有我们能接触到工单,我们也会定期将大家所需要的参数刷新到啊控制台上啊,方便大家后续能够进行调整,但是所有放开参数我们也会进行详细的测试和兼容性验证,保证大家在调整以后不会出现啊相关的就是。
45:28
因为参数而导致的异常啊,其实大家在调整的,在整个控制页面,控制台页面去调整的时候,也发现就我们会有很多额外的限制,也是因为用户在调整过程中出现过的异常,我们增加的,所以这一块的新增我们会比较谨慎和小心。嗯嗯,好的,明白了,嗯。好,陈老师,您这边也可以打开一下我们的摄像头,好,那接下来呢,我们看一下最后一个问题是,呃,朋友们想了解一下,想问一下keep目前的业务是不是已经全面上云了,那这一块的成本有比较过吗?
46:04
嗯,那这个问题请杨老师来帮我们回答一下。嗯,杨老师,您可以打开一下您的麦克风,嗯。就是我们现在的话就是就是keep这边用的业务,包括MYSQL跟那个mango,其实我们现在都是跑在腾讯云上面。然后的话就是,呃,我们去年做的一个事情就是把这个芒go迁移上云。然后的话,我们的成本是缩了将近缩了20%。然后是而且最主要的另外一方面的话,就是我们这我们整个就是这个芒果的运维效率比之前自建的方式,就是包括这个扩缩容啊,还有就是这个就是rto的一些时间呢,其实得到了一些改善。好的。嗯,可以看到效果还是非常的明显的,嗯,那好了,本次的问答环节呢到这儿就结束了,也非常感谢我们三位老师带来的精彩回答和分享,那我们时间呢过得很快,本期的活动也进入到了尾声,再一次感谢大家对我们的活动的参与和关注,我们下期活动再见。
我来说两句