00:04
各位线上的朋友们大家好,欢迎来到我们腾讯云企业创新在线学堂的直播间,我是你们的好朋友Lisa,今天啊,我要给大家带来的不仅仅是知识,还有满满的福利和惊喜。腾讯云企业创新在线学堂是围绕企业业务需求,聚焦在数据管理、AI、安全、办公协同等8大数字化需求场景推出的系列课程,携手腾讯云创新驱动无限可能,共同开启企业成长新篇章。那随着精细化运营的深入发展,企业内多业务间的数据互联互通与复杂性日益加深,面对多样化和不同量级的数据,企业急需能够保持性能稳定、低延时的数据库解决方案。别担心,我们有腾讯云数据库my circle最新推出的集群版,它能够解决现有形态啊横向扩展受限、客户扩缩容慢等问题。为企业提供快。
01:04
找、恢复、急速变配、暂停、实力、备机、只读等能力,在高稳定的服务上再添灵活性服务。本期课程呢将带您了解前沿的数据库部署方案,基于云原生底座,实现资源灵活配置,有效提升企业资源利用率。那直播开始前啊,也提醒大家扫描我们屏幕右下方的二维码,添加我们的小助手企微,您就能够获取到专属的咨询服务,还有机会可以领取更多的数字化干货资料哦好了,那首先呢,就让我们进入我们今天的第一个环节,热点快谈,一起来聊一聊那些让我们企业头疼的数据问题,我们今天呢有幸邀请到了三位嘉宾,分别是腾讯云数据库的高级工程师姚星老师,你好,姚新老师大家好大家好,嗯嗯,以及腾讯云操作系统高级工程师赵建,你好,赵建老师hello。
02:02
哈喽,大家好。老师好啊,以及我们腾讯云的专家工程师胡小亮,胡小亮老师你好,你好,大家好,嗯嗯好啦,那今天呢,欢迎三位老师来到我们的直播间啊,三位老师啊,随着我们近期的券商行业的热烈反响啊,以及股民交易活动的显著增加,很多的券商系统啊都进行了一个停机升级服务,以应对潜在的系统压力,那在这样的一个背景下,请三位老师来跟我们聊聊,嗯,数据库在券商系统升级以及面对这种流量洪峰时应该采取哪一些嗯关键的应对策略,同时也帮我们大家观众朋友们分析一下当前市场上已经有的功能和服务,如何能够有效的助力我们券商系统稳定高效的处理大规模的啊交易和流量,嗯,那首先有请我们的杨欣老师,嗯。嗯,好的,呃,其实不仅仅是券商哈,就是我们的很多客户,比如说像电商啊,游戏啊,以及教育业务,其实都有需要应对流量洪峰的场景。
03:09
然后对于业务而言,数据库是核心的组件之一,对系统的稳定性是至关重要的。然后业务应对流量高峰需要数据库架构,架构具备良好的弹性和扩展性。从扩展性来讲呢,业务可以通过横向扩容的方式增加读节点,通过读写分离的方式来降低对主节点的压力。也可以通过纵向扩容CPU和内存的方式来提升实力的性能,当然对于更大规格的业务,则需要通过分库、分表、业务分区等方式从应用层面来优化了啊。从弹性的角度来讲呢,对于偶尔的流量高峰,腾讯云数据库还支持嗯,自动弹性扩容,当检测到用户的数据库到达CPU的瓶颈的时候,我们可以自动扩容CPU,等流量高峰过去以后再缩容CPU,这样既能保证实力的性能,也能节约用户的成本。
04:01
除此外,帮用户及时感知到数据库的性能瓶颈也很重要。云上数据库提供了一系列完整的监控和容灾方案,比如CPU、内存利用率的监控以及查询等的监控告警等等,以及帮助实力可以快速进行故障时的快速恢复。相对于传统的自建数据库技术,云上数据库的自动化弹性还有高可用能力以及自动呃自动的智能运维能力,可以更好的支持用户业务处理大规模的流量,提供更健壮的容灾能力和保证业务的安全性。这是我的分享啊,谢谢主持人,好嘞,谢谢姚老师啊,那请啊赵老师来给我们啊呃聊一聊。嗯,好的好的,我主要从以下几个操作系统层面优化策略去谈啊,第一点呢,可以从内存管理优化,比如增加交换空间是web,确保系统有足够的交换空间来处理内存不足的情况,但要注意呢,交换空间的使用会影响性能。
05:03
第二点呢,就是调整这个缓存策略,超作系统级别的文件系统缓存可以显著的影响数据库的读写性能,合理的去配置这个缓存大小和行为,可以优化这个IO操作。接下来第2点可以从CPU调度策略,对时间敏感的交易处理交易任务呢,可以考虑使用实时调度策略来保证关键任务的及时执行。第三点呢,可以从磁盘IO方面去做优化,通过RA的提高磁盘读写速度和数据冗余性,调整O调度器,根据工作负载选择合适的IO调度器,可以优化磁盘的访问模式。第4点呢,可以从文件系统呢选择,可以选择比较高性的文件系统,呃,例如市面上使用FS或者ZFS等现代文件系统,他们通常可以提供更好的性能和扩展性。合理的配置文件系统参数,比如快、大小、in no inno的数量等,以适应数据库的工作负载。第5点呢,可以从网络配置优化去增加这个网络带宽,确保足够的网络带宽来处理这个交易数据传输,减少这个网络延迟,优化网络路由和使用低延迟的网络设备。
06:16
第6点呢,可以做好安全和权限管理,确保只有授权的用户和服可以访问数据库服务器,合理的设置这个防火墙规则,防止未授权访问和潜在的网络攻击。最后一点可以从负载均衡和高可用性去去做优化,呃,利用操作系统级别的集群技术来实现数据库的高可用性和负载均衡。呃,使用如GSTFS或者self等分布式文件系统来提高数据访问的可靠性和性能。通过以上这些策略,可以显著的提升数据库在面对高交易流量时的性能和稳定性,有助于应对这个交易流量的洪峰,还能在日常运维中保持系统的高效运行。好,我就从这几个方面来谈,嗯,好的,谢谢,谢谢赵老师的分享,嗯,那小亮老师,嗯,你也来跟我们说说,嗯。
07:09
好,呃,我觉得首先这是一个老生常谈的一个云突发,就是cloud cloud bur问题,但是咱这个背景相当于是在依赖强依赖于数据库的券商系统,然后我觉得这个可以从三个方面去优化,第一个就是说首先是接入层,第二个就是数据库层,第三个就是资源层,首先接入层的话有三个机制就可,呃,第一个是均衡,就是呃,我们我们可以使用一些云上的就是呃。第二个就是说我们做一些限流保护,当流量红峰来了之后,CRB可以配置控制,实现对后端数据库的过载保护。第三个就是缓使用缓存机制,比如我们我们可以使用一些呀,一些缓存的缓缓存的方案,减少对数据库的直接访问,对于那种频繁读取但不常变化的数据,可以大大大的提高这个响应速度,这是接入层的,首先数据库层面的话,可以采取这种呃分库分表的策略,首首先垂直分库,将不同的业务模块呃,通过不同的数据库去存储,减少单个数据库的压力,水平分表可以先把一些表按照规则拆成小表呃,解决那个分散读写的压力。
08:30
然后就是读写分离数,呃,咱们云上的数据库都可以支持这种,呃,从主库负责写,从库负责读,保从通过主从复制保持一保证的一致性,这样有效的可以分担主库的压力,然后整提,提升整个数据库的这个吞吐吞吐量。第3个就是我们可以一些非实时的查询操作,可以异步化,减少对实时交易的影响,比如说使用一些消息队列,咱们云上也有一些产品,比如说卡夫卡啊这些来做这种异步的消息处理和任务处理,来提供这个实时的响应速度。第一是呃,第6个就是对于数据的归档和压缩,就是对于历史数据我们要进行压缩和归档,减少这个活跃数据的存储空间,提升查询效率,对于定,对于定期要清理一些不要的数据,来保持数据库的高高效运作,当然了,数据库跟操作系统也可以开启这种内存大页,减少呃,减少这个内存页的呃。
09:31
呃,内存页的数量和大小,提高这个CPU的缓存的命中率啊,然后然后提高整体的这个数据库的性能,在资源层面上有四点,就是说我们现在你看那个大模型啊,JBT, 就是总结出一句话,就是大力出奇迹,只要底层的资源叫流量红峰过来,只要底层的资源能够快速的水平垂直扩展,那其实对应对流量红峰也不是问题,因为因为比如说我们这个交易的时间是固定的,那我们可以用t ke的CHP来提前把数据库的副本数括好,当这个交易过交易时间因为它是固定的,交易结束之后了,我们以缩容,第二个就是说我们可以使用那个,呃,原生节点,就是也是t ke的这个原地升降配的能力,就是说这个垂直扩缩容,比如说一个po的,一个数据库的,原来是需要3g。
10:22
内存我们可以垂直扩展到6g,这样的话,其实它是它底层就是底层,它也不业务不会重建,但是它消耗了就是分配了更多的这种计算和存,呃,计算和内存资源,第三个就是说当这些业务po的资源不足的话,我们要秒级的支持这种数据库节点的扩容,这样我们嗯,就是t ke原生节点,它成了社区的下一代的auto class auto技术叫卡P,然后呢,能实现秒级的节点扩容,剩下的就说,比如说我们呃,剩下第4点的时候,我们要使用一些,就是比如说t ke, 还有一个就是镜像缓存的能力,比如说节点扩容了,Pod要在节点上重建拉镜像也是需要。
11:05
时间的,我们可以预预先把镜像做预热炮的启动的时候,镜像就已经在机器上了,然后拉镜像的时间可以缩短到0秒,这样的话也能够应对一些流量流量的高峰,我大概就是从这三个方面来分享一下我的呃观点,谢谢,好嘞,谢谢,感谢小亮老师,也非常感谢三位老师带来的精彩讨论啊嗯,那我们线上的观众朋友呢,你也可以扫描我们屏幕右下方的一个二维码,去添加我们小助手的喜微,获取到专属的一个咨询服务,也还有机会领取我们更多的数字化干货资料,那接下来就让我们有请第一位嘉宾来进行今天的分享啊是呃,先请到腾讯数据库的高级工程师姚鑫老师,杨老师呢?呃,主导腾讯云云数据库my circleql集群版、单节点版、云盘的版的开发,担任数据库网络建设与数据备份组件的核心研发工作,专注于优化数据库的网络架构,提升系统系统的高可用性。
12:06
和容灾能力,那今天姚老师将为大家带来主题分享,向着云原生进化,腾讯云my circle集群版部署详解有请姚老师。嗯,好的好的,大家好啊,今天我将向大家介绍一下腾讯云CDB最新推出的MYSQL集训版。它是一款基于云延伸架构设计的数据库产品,专为更高的可用性和大容量存储的需求打造。先做一个简单的自我介绍哈,我是腾讯云数据库的后台研发工程师,然后是主导了语音数据库MYSQL集训版和单节点云盘版的开发。接下来我将主要从产品架构、云原生的优势和产品能力优化这三方来介绍我们的集群管。呃,集群版这款产品首先是架构介绍,目前CDB推出了三类产品,分别是发布最早、规模最大的物理机形态以及近两年上线的云原生单节点形态。
13:03
和最新发布的集群版物理机形态是把MYSQL部署在支撑网络环境的物理机上,多个MYSQL实例以进程的方式直接运行在同一个物理机上,提供高可用。高可靠的能力,有完整的主从切换和备份能力。而单节点形态的MYSQL是以单点的形式运行在TK环境,它不支持主备的部署模型,适用于成本敏感、对可用性要求不高的场景。因为实力是单点运行的,所以实力如果需要变配或者是故障时,它对业务访问的影响时间会比较长。最新推出的集群版是基于云原生架构,部署在公有云的t ke环境。集群版对标高可用,具备完整的产品能力以及更快的横向扩缩融合、克隆回档能力。首先让我们先来看看集群版的部署架构,集群版基于云上资源构建,计算和存储分离部署。
14:02
计算层部署在腾讯云容器服务的TK上,存储层使用CBS云硬盘,数据文件最终备份到cos对象存储,对外通过VPC提供访问。在产品能力上,我们提供重机子读、高可用切换、快速扩缩容、秒级监控和克隆回档等能力。相较于传统的物理机版本,集群版提供了更强的扩展性备份和容灾功能,更好的满足了企业用户对高可用和大容量存储的需求。这是CV访问CD的网络链路架构图,对于云上的数据而言,这个架构都是通用的。CVM的流量经过母的虚拟交换交换机TS会转发到我们的VPCV。因为VPCV记录了VPC地址对应的后端路由,最终会转发到后端的CDB节点上。CDB实例通常是一组一倍或者是一组多倍的方式来部署。Master和s slave节点是跨母机、跨交换机部署的,如果用户对容灾的要求比较高,也可以是跨园区部署的。对于物理机形态的CDV而言,MY的s slave节点和master节点建立了主从同步关系,但是s slave节点只能用于故障恢复,不直接对外提供访问。用户主要访问master节点。当Master节点出现故障的时候,我们会将VPC路由切换到slave节点来保证实例的可用性。
15:27
集训版和物理,呃,集训版和物理机版本的访问链路基本是相同的,差异主要体现在CDB实力的部署模型上。在这张对比图中,我们可以清楚的看到集群版和物理机版本的差异,左边是物理机形态的部署模型,每个物理机机上运行了多个MYSQL的实例进程,这些进程共享了母机的硬盘。不同的MYSQL进程通过c group来限制他们可以使用的资源。每个MYSQL嗯,复用同一个IP地址,然后监听不同的端口。再来看右边的架构图,集群版是部署在TK1的环境中。
16:06
我们使用K8S no来取代了传统的物理机概念,在no上面通过不同的pod来运行用户的MYSQL进程,每个pod挂载了云上的CBS存储,并且通过VPCI网卡拥有。自己独立的VPC地址和网络访问。在每个no上面,我们通过了set的模式来部署管控程序,比如秒级监控、备份、日志采集等等组件。使用DEMO set而不是set card的模型,我们可以更加充分的节约load的资源。接下来介绍一下云原生的优势,相对于传统的物理机形态,集群版的优势主要体现在以下5点,更大的规格,更好的IO隔离,更高的磁盘可用性、更快的故障迁移以及更优的售卖率。从这个表格中可以清楚的看到物理机形态和集群板形态的对比。首先来看纵向扩容能力,集群板支持更大规格的CPU和内和内存磁盘,并且不限制CPU和磁盘的比例。对于物理机形态而言,受限于数主机的规格,为了降低资源的浪费,用户如果要购买大规格的磁盘,我们会要求也必须要求购买大规格的CPU和内存。但是某些用户的日志类业务,他可能并不需要大规格的CPU,而只只需要大规格的磁盘。我们的集群版基于这种存算分离的架构,就可以让用户自由的去搭配CPU、内存和磁盘,即使用户购买小规格的计算节点,也可以搭配大容量的磁盘。
17:44
再从IO层面来看,数主机不同的MYS进程IO可能会互相影响,极端情况下甚至可能会阻塞在c group的子系统,而集群版通过给每个pod挂载独立的CBS盘,每个CBS盘都有独立的is策略,这样就天然实现了IO离并且CS。
18:11
CBS底层是三副本机制,这样极大的提升了数据的安全性和可用性,避免了因为数据盘故障导致的MYSQL服务中断。而物理机形态的磁盘是单副本,如果出现磁盘故障,则我们必须要对实例进行迁移。在我们现网环境中,几乎每天都会遇到因为磁盘故障导致实力需要迁移的情况。再从故障恢复的角度上来看,集群板也是更优的。集群板基于成散分离,当计算节点故障时,我们可以很快的在另外一个节点上拉起pod,新拉起的pod可以挂在原有的CBS盘,这样可以做到当实例故障迁移时,不需要迁移原来的数据,可以做到更快的故障恢复。从售卖率角度来看,集训版可以做到CBS按需申请,更加充分的利用嗯,利用资源,而避免我们的宿主机资源浪费。
19:09
接下来再为大家介绍我们的产品能力和优化。先来介绍一下备机制读,顾名思义就是将实力的被节点对外提供访问。物理机形态的实力通常是一组1倍或者是一组2倍。被机slave只用于master节点故障时的容灾切换,而没有给用户提供访问的能力。用户如果有读写分离只读诉求,需要去额外购买R实力,那么我们之前为什么不提供这个备机的访问呢?是因为备机如果提供访问更容易触发。备机的高负载。当备机出现高负载或者是故障时,它就无法响应的时候,我们需要进行重建备机,而在物理机形态,重建备机的耗时是很久的,此时master节点就会有较长的时间会处于一个单点运行的状态,这样就无法保证容灾切换的能力。而集群板通过存算分离的特性,实现了计算节点故障时可以快速迁移,避免了备机故障时长期master处于单点运行的情况,这样就保证了容灾切换的能力。所以我们集群版支持放开被节点的只读地址,用户可以通过读写分离进一步增强MYMYSQL的访问性能,优化了资源的利用率。
20:27
接下来再介绍一下我们是如何保证啊实力的高可用性的一个迁移切换的流程,CDB实例通常是一组一倍组合,被是部署在不同的no上面,甚至是不同的可用区。我们通过全局探测器和每个数组机上都有一个agent来实时监控MYSQL的健康健康度如果出现MYSQL无法访问的情况,比如说数主机高负载或者是磁盘故障,或者是可用区级别的故障的情况下,我们就会触发HHA调度器进行实例的主重切换。
21:05
主从切换的时候,会断开主实力和重实力之间的主从关系,然后将VPC的路由从主节点再切换到接点,以此来保证用户的正常访问。考虑到如呃,比如说如果是那种可用机级别的故障的极端场景,我们管控组件,为了能够正常运行,我们的全局波测器和ha调度器均采用跨区部署,通过AZK集群来强组来保证同一时间点尤且只有一个全局波测器和HHA调度器工作,这样即使出现网络隔离或者是可用区级别的故障,我们的调度器也能够正常运行。有些用户还有跨地域级别容灾的需求,集群版同样支持异地备份和异地克隆的能力。我们的备份文件主要包括两个部分。一是在CBS上面的快照数据备份。
22:01
包含当前用户的数据文件,通过CBS原生的快照能力,最终将数CBS上面的数据备份的cos 2是blo日志备份,用户在呃使用MY时候会产生一些日志,我们在T上面通过方式部署组份,Agent组件会来采集用户实力产生的b blogg文件,并且上传到本地的cos。如果实例开启了异地备份功能,我们会在数据备份到本地cos以后,再跨地域复制一份到异地cos的副本。用户可以通过异地克隆能力,在时间窗内的任意时间点可以在异地恢复出一个新的实例,这样有效的提升了数据库的跨地容灾和业务的连续性。接下来再给大家介绍一下我们的高频快照特性。我们知道MYSQL如果要回档到历史的任意时间点,或者说业务需要扩容新增重点,需要从目标时间点之前最近的一次备份拉起MYS克L实力,并且回放备份时间点到目标时间点之间的b logo. 物理机系统是每天凌晨备份一次,对于回档或者新增节点,可能需要回放24个小时的b logo, 对于一些大型业务b log写入较多的场景,这会极大的增加了任务的耗时,可能需要数小时或者是数十个小时之久。我们在集训版中采用对CBS执行高频快照的方式,每隔15分钟就创建一次增量快照,这样当需要恢复或者是新增节点的时候,我们只需要回放大约15分钟的b logg就可以了,这样就极大的加快了克隆恢复的速度。
23:48
在集群版的基础上,我们还在内核层面做了优化,MYSQ在刷页的时候需要把内存有更改的张页写回到磁盘,而MYQL的配置size一般是16KB,但操作系统是以4k be也进行写入的,在极端情况下就可能导致张页部分写成功的情况。为了应对这种情况,MYCYQL他在呃官方是使用了呃buffer right的能力,将张译先写到double buffer, 然后再分两次写,先写到共享表空间,然后再写到磁盘数据页,这样就导致了额外的一次写操作。在集训版中,我们基于叉FS文件系统16K原子写的能力,实现了将张掖原子写入的磁盘,避免了额外的副本写入。
24:38
为了方便客户,业务平滑的迁移到集训版CDB控制台支持一键升级的能力。客户在发起一键升级后,管控流程会先拉起一组集训版实例,集训版实例与原物理机版的master slave和L节点会一一映射起来,集群版实例会先从原实例上传到的cos的备份文件导入数据,导入完成以后再与原实例建立组成同步关系,等待完成同步以后,用户可以点击完成切换,将路由切换到新的节点,此时主从同步会断开。同样我们也支持反向再建立主从同步的逻辑,保持老的物理机和新的集群版之间的数据同步,这样给用户提供了可以再恢复到物理机形态的功能。
25:25
近期我们也还在持续优化我们的产品性能,包括旁路VPC的V目前网呃CVM访问CDV会先经过VPCV这一套集中网关,VPCGV这一套会增大网络时,且在流量高峰的时候可能会存在性能瓶颈。我们通过把VPCV的部分能力集成到CM和CDB的数组机上,可以去掉对VPCV的依赖,进一步优化了我们的网络的其次,CBS快照备份和恢复,目前备份会依托于cos对象存储,性能极大的受限于cos的带宽。后续我们也计划推出CBS本地缓存池,在一定时间内快照会在本地保留一份,这样当我们实力需要快照时,可以直接从本地缓存拉起,性能可以提升10倍以上。而CDB的容灾恢复和克隆回档往往对近期的快照导入速度要求更高。依托于这种CBS本地快照缓存的能力就可以。
26:26
极大的提升我们CDB克隆和增删节点的性能。以上就是我的分享,感谢大家的观看。嗯,好的,非常感谢我们姚老师带来的精彩分享啊,那我们也提醒一下线上的朋友们,别忘了扫码添加我们的助手的企微获取专属的一个咨询服务,那同时呢,您还有机会领取更多数字化的干货资料哦,那线上有疑问的朋友们也欢迎您在评论区留言,我们的讲师啊会在啊最后的QA环节给大家解答,那不要犹豫,赶紧提问吧,同时呢,你也可以打开微信搜索。
27:05
腾讯产业互联网干货库小程序点击首页底部企业创新在线学堂模块,就可以观看往期的直播回放视频,获取到我们杨老师的精彩课件。好了,那接下来呢,让我们欢迎我们的第二位嘉宾,腾讯云操作系统高级工程师赵建老师。赵老师参与了Tencent OS server发行版的研发与推广,主导了RCB版本以及边缘操作系统Tencent OS edge的设计与开发,致力于Tencent OS server在数据库、广告及其他关键领域的增值特性的方案实施、优化和落地。今天赵老师啊将为我们揭开Tencent OS server云数据库my circlel性能提升基石的神秘面纱。想要让你的数据库性能飞起来吗?那就千万不要错过哟,好了,我们有请赵老师,嗯。好,大家下午好啊,接下来就由我来分享添加server如何助力腾讯云数据库MYSQL性能提升。
28:06
首先简单自我介绍一下。我是。呃,我是来自腾讯云操作系统工程师赵建,主要负责操作系统的研发、推广和落地。我主要从tens server的产品简介、技术特性以及如何提升MYQL性能三个方面进行详细分享。关于天才server产品。用一句话来描述就是经过1000万节点验证,稳定、安全、高性能的企业级服务服务器Linux。展开来讲,天生server是腾讯自主研发的服务器操作系统发行版。经过10年以上功能迭代和全面性能优化,在资源隔离、数据安全、弹性调度等特性进行加强,主要给虚拟机、容器、物理机等应用场景提供稳定、安全、高性能的运行环境。从腾讯云操作系统整个发展历程来看,Tens server分为三个阶段,2010年之前主要使用开源OS slawa和采购梳洗商业版本,我们称之为史前时代,但是普遍存在稳定性差、服务难保证、无法定制服务等问题。从2010年开始,我们进入自主研发时代,操作系统产品定义为T0MIXX,并相继发布了。
29:24
Ts one和ts two版本资源覆盖率99%,有效支撑了微信、QQ和游戏等核心海量业务。从2019年开始到现在,我们进入了创新研发阶段,把操作系统产品分成商业和开源两个版本。其中商业版本品牌升级为TSOS,发布了TENS3和TENCLS4,累计部署1000万节点,相继自研了如意物能、悟镜等增值特性和系统优化平台火眼。主导成立了open cloud开源社区和研发open cloudteam版本,并推出了开源版本open cloud OS.
30:06
从技术架构来看呢?Pencils server从硬件、内核、用户态、基础核心软件进行了全面的性能优化,除了支持常规叉862服务器,同时对国产CPU比如海光、森威、龙芯等镜进行深度定制,安全合规,全线支持深度优化的内核,2.6版本到6.6版本集成了企业级产品和服务。天山o server提供在线环境热补丁修复,保障业务的连续性,自研了宕机自动分析系统,覆盖内核六大子系统,持续10年以上的运营打磨,自动分析成功率90%以上,提供了5个9的企业级可用性,大盘宕机率比社区版本低70%以上。而ten o server携手open cloud OS社区伙伴打造软硬件生态,目前覆盖300家大部分主流机型、50家主流CPU以及20家主流GPU等。
31:08
目前还在持续适配中,详细的硬件兼容列表可以查看腾讯云操作系统官网。天山server完成了行业多项认证,包括飞腾、海光、鲲鹏、造星等国产CPU的互认证,完成了1000家开源软件验证,取得了软著、国标等基础产品资质认证。而接下来,我们将探讨TEL server的技术特性。首先呢,让我们了解天s serve的技术布局和长期规划。我们把操作系统分为五个层级,最上面的是LL0上游社区,比如Linux kno、阿帕奇、gnu等各个独立开源社区G于L0进行整合开发,形成了L1语原社区发行版,比如我们比较熟悉的斐德拉发行版就是属于L1长级。
32:00
L two商业版是对L1版本的稳定性。和安全性进行加固,并提供了企业级服务和商业应用。类似红帽发行版。L3社区稳定版是经过企业大规模验证,基于l two商业版本,重编译和定制优化,类似之前的cent OS.L4衍生版本是基L3进行改造优化的发行版。天神OS早期的tins版本基于santa OS开发,由于红帽停止发布了天神O,为了短期解决SANO断供问题,天神OS server3定位为l two商业版本,用户态兼容santa OS.并发布自己的L3社区稳定版本open cloud OS.为业务和生态伙伴提供长期的服务和支持。同时,我们全链路自研了天生SERVER4。基于开源的L1原社区版本open cloud o streamam进行研发,我们从开源社区伙伴一起携手共建,解决操国产操作系统上下游供应问题,促进基础软件的可持续发展。
33:10
天然O有三大核心资源特性,如意、物镜和物能。如意主要针对CPU、内存、IO、网络带宽等主要资源,提供容器级别的资源QOS能力。物境呢是业务无感知的内存多级卸载方案,旨在提升内存的整体利用率,不能则是业务透明的服务器能效管理。研发如意的背景是,某业务服务器的整体CPU利用率比较低,不到15%,我们通过内核的隔离能力实现在线业务和离线业务的混合部署,降低运营成本并提升资源可控性。但是。原生内核隔离性差,混部后毛刺而增加,严重干扰了在线业务,容易统一资源隔离方案,全面优化和增强了内核隔离能力,实现了自动容器隔离和冲突管理,不挑业务场景,适用性广,支持容器、物理机等全场景支持混部技术。
34:10
如意的效果和落地情况显著,大盘CPU利用率从15%提升到30%,成本降低了50%,离线业务对在线业务的干扰率不到1%,在线业务的IO网络带宽稳定,波动率小于5%,部署规模超2000万盒。呃,样板集群的CPU占用率达到65%,成为了行业标杆。由于降本增效的突出效果,天OS产品不仅亮相央视栏目经济半小时,还荣获中国信通院授予的OS car尖峰开源项目奖。固定特性中,通过精准定位冷内存页面并异步进行压缩,有效提高工作复杂的运行时控弦内存。这有助于降低内存分配延迟异常失败率和oom次数,从而显著提升系统稳定性。
35:04
在虚拟化和容器场景中,不仅支持cvm pod降配和内存超卖等策略,以实现降本增效的目的。不仅在CVM场景的落地效果尤为显著,特别是在调压和降配场景下。以公司某存储业务为例,在相同业务流量情况下,启用物镜后,内存用量降低了35%,请求延时基本保持稳定。在微信某业务场景中,流量加压2.7倍左右,内存节省了75.7%,失败率降低了92.8%,CPU利用率从25.9%降至25%,IO利用率从0L至2.6%。因此,CPM规格可以从CPU memory的1:2配比降配到1:1,进一步实现资源优化。当前数据中心的服务器能耗较大,而原生的内核和硬件节能方案可能导致业务延迟过高,难以接受,不能创新性的发明了弹性CPU调度算法,该算法通过将系统负载集中到部分CPU上,使得其他更多空闲CPU能够进入深度睡眠状态,从而达到节能的目的。在此基础上,不能还基于负载和性能指标的正负反馈去自动扩缩和。
36:28
实现完全自适应业务负载,使业务侧保持透明、无感知,且性能影响小于1%。我们看一下雾能的节能效果,我们对比了a CPI f frequent和on demand和Intel p day和Wai p day这两个普通节能方案进行了业务QPS测试。结果显示,不能对业务几乎无影响。在某业务集群中,平均功耗从350降低到了315,节能效果达到了12.8%,且对业务性能的影响不超过1%。
37:05
接下来我们看一下如何利用tenl server的底层技术来提升my circle的性能。首先我为大家介绍一下TSS火眼,这是一个针对业务场景进行系统优化的平台,它基于数据驱动,借助内核、基础组件、系统配置、编译以及AI等多领域的优化能力来实现基础性能的提升。通过TOS活跃,我们能够帮助腾讯云、MYSQL数据库等公司业务场景在性能和可靠性方面取得显著优化。首先我们看一下天舟活跃与云数据库MYSQL联合优化项目成立的背景。为了应对市场变化并提升竞争力,腾讯云数据库底座从架构和硬件两个方面进行升级。新架构通过采用TK housekeeper实现计算资源与存储资源的结耦,以提升资源利用率,丰富产品形态并有效降低成本。新硬件则从Intel转向AMD和ARM。
38:06
在单位成本内提供更高的单核性能和大规模、大规大规格的独享型实力,进而增强了数据库性能的呃性能和扩展性。由于底座升级带来的挑战主要集中在两个方面,一个是在数据库性能测试上和原来架构对比有比较大的提升空间,在降本增效的同时如何保证性能提升?二是数据库产品在全面进行云原生改造后,需要联合操作系统解决多个技术难题。比如高效使用云上is资源,降低云盘写入延迟、极速版CPS使用等。为了解决这些挑战,火眼项目从多个方面进行了优化,包括X x16K原子写、AMDCCD负载、不均衡代码段以及编译等。这些单项优化效果性能提升范围从6%~50%。
39:02
优化后的版本已在t k housekeeper集群版上线,服务于某手机厂商等大客户,综合优化效果显著。写QPS提升超过70%,读QPS提升超过20%。在对外竞标测试中,同类产同类产品整体性能优于友商。下面我展开来讲讲合眼的每一个优化点。叉FS16K原子的背景主要是MYSQL采用双重写入策略以确保数据的一致性,通过先写入双写缓存再刷新至磁盘的方式,防止在系统崩溃、掉电等异常情况下部分页面新旧数据不一致的问题。使策策略带来的影响。主要下面三个方面导致数据写入磁盘两次占用双倍的磁盘带宽,增加了性能负担,两次写入的磁盘地址很可能不连续,从而导致了性能抖动。
40:01
额外的写入会增加磁盘磨损,降低这个磁盘寿命。天生OS火眼优化的思路是利用叉FS文件系统的写实复制特性和re linknk机制,我们可以在MYSQL双写场景中实现原子操作。具体而言,上层应用MYSQL以16K的固定大小进行写入操作,数据首先被写入到一个新的区域,待全部写入完成后,再将数据指向这个新的区域。这样在不使用共享表空间。以及记录日志的情况下,原本需要2次写入的磁盘操作被优化为1次写入。呃,下面这三个图是six bench在510线程数下TPS的压测数据。我们可以看到,在止血和更新索引场景,性能提升最高可达50%。读写场景拼音有百分之十十六点五的提升。接下来再看一下AMDCCD负载不均衡优化背景。
41:01
可以看一下Intel和AMD的new码架构图,Intel尔采用一对一的newma LC模型及每个码节点下的CPU共享一个L3K。避免了跨LLC的增强。而AMD的验架构采用了一对多的模型,一个牛马节点内有多个CCD,每个CCD下面的CPU独享一个LLC,而MYSQL多线程并发运行时线程分布在不同的CCD的CPU上,导致跨CCD。而L3K Miss实测呃。所以我们在米兰的机器上实测跨CCD性能相差有5倍之多。火眼的优化思路是通过内核调度算法调优负载,均衡能够智能识别的CCD架构,并授予其特权,维持负载的不均衡分布,促使多任务在同一CCD内集中执行,从而有效减少跨CC的访问次数,提升数据库的QPS性能。
42:01
最高可达17%。天山oss火影的代码优化系列主要是通过优化透明大页PHP,提升代码段数据缓存命中率和CPU执行效率,同时锁住代码段内存,以防止内存不足时的回收。并确保在内存紧张情况下稳定代码段大的优化效果来实现的。实际测试读写场景QPS提升超过7%。继续看一下TS火眼的newmanwa qspinlo, 这个优化点的背景是内核的qsinlo及MCS所实现。具体看一下m CS spin rock的处理流程图,通过CPU排队和链表管理,避免了k Miss引起的性能波动。MCS所在new码系统中仍有优化空间,因为访问本地内存比跨节点内存快。现有实现中CPU队列和数据结构的kitchenline跨牛马跳动会导致性能波动。火眼的优化思路是通过维护主队列和次队列解决CPU跨流马节点分布问题。主队列包含同一牛马节点上的等候CPU,次队列包含其他节点的CPU。
43:20
这有助于减少所在牛马节点间的移动。实际测试32并发只写模式下QPS超过6%。512并发只写模式下QPS超过7%。最后看一下TSS火眼的编译器优化。随着现代CPU结构日趋复杂,数据中心中大量的云应用未能充分的利用CPU的性能潜力,造成了CPU周期。大量的空转。此外,应用工作复杂,非常分化,针对热点函数实施性能调优需要投入巨大的成本。研究发现,云应用的前端停顿占指令周期的15%~30%,对应取值指令密实率比Spark标准测试级高一个数量级。
44:09
为了解决这些问题,天生oss火眼编译器采用了以下优化策略。基于运用运行特征数据实现反馈编译f do优化,提升这个函数的内敛函数重排、基本库重排的优化能力,通过链接使l to优化增加编译优化视野,从单文件、单函数扩展到跨文件全局视角。在二进制层面,应用链接后优化技术,提升profile数据的准确度和匹配度,综合运用这些优化技术,性能收益显著增加。在Six bench实测中。编译编译器优化版本的QPS平均提升了20%~30%。呃,以上我分享的这些T火眼的优化措施已经在腾讯云数据库myl housekeeper集群版上线,也欢迎大家体验使用。
45:07
好,以上就是我今天分享的所有内容啊,感谢大家聆听,嗯,感谢也感谢赵老师带来的精彩分享,我们赵老师的分享是不是让您眼前一亮啊?那对于Tencent OS server感兴趣的同学啊,别忘了扫描扫码添加我们的小助手起类,获取专属的咨询服务,您还有机会领取更多的数字化干货资料。嗯,那有疑问的朋友们呢,也欢迎您在我们的评论区留言,我们的三位专家会在我们最后的QA环节为您解答问题,不要犹豫,赶快提问吧,同时呢,你也可以打开微信搜索腾讯产业互联网干货库小程序,点击首页底部企业创新在线学堂的模块,就可以观看往期直播的回放视频,获取到赵老师的精彩课件。那最后让我们欢迎今天的第三位分享嘉宾,腾讯云专家工程师吴小亮。胡老师呢一直聚焦在云原生的领域,开源社区t k t ke stack maintainer完成了t ke混合云和分布式云从0~1的建设,目前负责t ke housekeeper产品的设计和开发工作。胡老师呢将给我们带来t ke housekeeper原生节点云原生时代的降本增效利器的主题分享。那想要在云原生时代既省钱又省心,胡老师的分享您绝对不容错过。好,有请胡老师。
46:36
嗯,胡老师,麻烦您打开一下您的麦,嗯。好,我开始我的分享,呃呃,我分享的题目叫TK housekeeper, 原生节点云原生时代的降本增效的利器。呃呃,目录分享的目录是第一个是什么是原生节点,第二个是原生节点如何帮助业务降本增效,第三个是一个优秀的客户案例分享。首先是我们知道在这个后疫情的时代,激烈的竞争让每一个企业都出都不得不节约每一发子弹,当it成本开始逐年增高时,呃作为企业的成为企业的重要的支出时,如何有效的降本增效就成了决策者不得不面临的挑战。在公司层面上,我们从2022年提出了运原生成熟度模型2.0,然后只在考核业务的利利用率,然后可调度性,还有小核心的使用等一些指标,为了就是提高整体腾讯云的运营运营效率和运营成本。
47:40
低呃降低运营成本后,然后这呃今年我们又在公司层面上提出了呃呃组织,组织优呃组织提效呃鼓励个人提效,全都是因,全都是1呃在这个时代的背景下,我们要做一些降本增效,在这个呃搭载着整个大环境的大环境的影响,我们t ke推出了搭载了fires理念,Fos是一个就是云上成本优化的一个一个解决方案。
48:12
我们及我们呢联合呃,联合内核和操作系统等团队,呃呃做了一个新型的就是t t ke原生节点,助力企业对云上云下任意位置的服务器资源实现7乘二十四四小时的极致利用,然后呢,这个介绍就是我主要是主主要是工作在这个云原生领域,是现在就是t sta的t sta是T个有云t ke的一个开源版本,主导了t ke混合和分式从0~1的建设,目前主要专注于t ke原生节点的设计开发工作,致力于通过云原生的技术帮助业务来降本增效。首先我们来看一下什么是原生节点,嗯,使用过t ke集群的朋友同学都应该知道,T ke作为整个腾讯云容器服务的底座,承载了千万核心的自研业务。首先T ke有四种节点,有超级节点,原生节点,普通节点,还有注册节点。首先我们把这三个节点的形态看一下,首先超级节点是是一个就是虚拟节点,用户在使用的时候不需要关节点的版本,不需要关心底层的爱资源,用户的业务不在超级店上面出了问题,用户得需要平台去分析,平台去决策,然后呢,用户对对于呃,对于这个超级点的可控性是比较。
49:40
低的,而普通节点是底层是一个CVM节点,T ke, 把这个CVMQ拧成一个K8S的,呃,Work worknode, 然后加入到集群里面,这个节点的镜像可以用户自己选择,可以是自定义的镜像,也可以是Tencent OS OS u, 然后呢,这个节点的初始化配置也可以由用户自己去填写,所以说呃,普通节普通节点用户的可控性会更高,用户可以通过SSH或者页面直接访问的方式来访问这个节点,但是这个节点的节点的CPU的利用率,装箱率啊,用户只能自己去分析,自己去决决策,用户自己去执行。比如说为了降本增效,在这就是超级节点,它的运营效率高,但是可控性低,然后呢,普通体检它它的可控性高,但是运营效率有。
50:34
又又又又低啊,我们怎么基于基于呃呃呃,原生节点的,原生节点可以让业务在这个可控性和运维成本之间找到平衡,因为不同的业务它的s re, 它的它的诉求是不一样的,于是我们就推出了原生节点,原生节点通过自通过自定义,通过这个不基础设施不可变的原则与使用了Tencent Tencent OS的。
51:02
呃,镜像包括了一些自研的,自研的内核,比如说物镜,呃和如意的内核来实现了,就是帮助用户提供一些辅助信息,让用户去决策,比如说我分析节节点的利用率,装箱率,然后呢,帮助用户去分析workload的副本数是否合理,嗯,然后给给用户建议,用户自己去决策,是要使用推荐值,还要使用用户自定义值,包括用户可以自定义节点的运维窗口升级策略,都由平台用户去,用户去触发,平台去执行,用户的可控性是介于介于超级节点和普通节点之间的。第二个topic就是原生节点如何帮助业务降本增效。首先我们原生节点极致的帮助用户提升这个节点的资源效能,我们自己原件自己的,呃,T ke自己的控制面也使用了原生节点。
52:07
通过数据,通过数据的洞察和数据的分析,通过全链路的成本优化,我们通通过普通节点替换成原生节点,我们的利用率提升了65%,成本降低了50%,呃,我们全链路的去提升,提升这个资源的效能,主要表现在三个方面,一个是面向应用的优化,一个是面向调度的优化,还有就是面向内核的优化。面向应用的内化,我们提供了极致内存压力,底层依赖于物镜,物镜内核解决了内存的内存的瓶颈,呃,包括支持,包括了解决了业务启动时的的能力,比如有一些Java程序,它在启动的时候对CU的要求比较高,但是在运行时的话CPU就掉下来。如果如果用户一开始设置的CPU的request比较大的话,可能会浪费一些CPU,然后呢,包括我们,包括我们有request,呃和副本的推荐,面向调度的优化,我们社区社区默认的调度器,它的是均衡策略,我们支持动态调度,也支持节点放大后的调度,也支持副本数拆分的调度,比如说呃,我们可以用户的集群里面有多种形态的节点,比如说有包年包月的,按量计费的,因为他们的定价模型是不一样的,我们可以根据用户的业务。
53:28
比如说一个用户业务的副本有4个或者5个,有哪些副本放在包年包月的节点上,有哪些副本放在按量计费的,包括我们也支持紧缩调度,就是集中把业务调度在一个节一个节点上,然后呢可以退还一些机器,只要上层做好。做好这个业务的那个呃业务的那个基于基于节点的一个呃,节点的一个多A多多节点的调度,还有就是面向内核的优化,我们集成了呃原生节点,集成了如意的内核,做了一些混部,支持了一些把混部的能力云原生化,用户可以通过简单的呃,简单的配置就实现了,这这个就是在线业合离合离一线业务的混呃主要整合了这个CPUIO、网络、内存四大研发领域的混特特性,提供了精细化的分级QS,支持不同业务设置明确的资源使用限制,协助服务保障,精细化的资源隔离保障业务的。
54:33
对业务的质量做可靠性的保证。当然了,Files的其中一个能力就是支持多维度多角度的成本洞察,当我们对通过通过呃通过降本增效技术降本技术降本的一些能力呃我们需要,我们需要提供一些成本洞察的能力,了解我们的降本的策略,降本的效果。首先我们有有那个是呃可呃TK insight的一个呃成本洞察的视图,它基于它基于多个维度,为财务、业务,运维不同角色提供了多维度的成本。
55:11
洞察能力。比如说对于财务和CFO,提供实时资源成本的消耗图,提供成本分析观测能力,对于业务团队,我们可以提供容器内基本指标和评估业务的性能,容器化部署的安全效果,对于运维,运维团队我们提供容器内的健康检查、OM多级稳定性指标,反映业务的可靠性和可用性,提供利用率、装箱率等多资源维度来反映。用呃资源的效能,为集群和网络节点应用不同云原生资源提供多维度的洞察能力。下面是面向应用的优化,让业务应用以最小化的资源需求去使用。首先刚才讲了就是业务的业务的burst能力,业务可以让业务在主机闲时使用更多的资源,加速用户业务的启动,在资源紧张时又能严格限制住资源配置的上限,保证资源隔离。对于对于这种Java的业务,它是非常有效的。
56:16
第二个是物镜的内存动态压缩,对动态回收和压缩基于我们基于自研自研内核的管理系统RRU页面回收机制,实现了c group级别的内存压力和热力监控,支持业务适应自自适应画像页面换出的自适应平衡。呃,包括我们我们集成了呃,腾讯开源出区的CRA的的一些S能力,支持对业务副本数的推荐,包括我们基于历史业务的CPU和memory的使用量,对用户的request的不合理的配置进行推荐,基于历史用量和未来预测,对于对于副本数就是用户的副本数的推荐,包括基于历史用量和弹性,对于对于用户业务的弹性配置,就是HP的规则进行推荐。
57:13
我们可以看一下右边这个图,呃,用户的业务的workload,它使用的内存总数总数是100,但是我们其实根据根据使用量的分析,我们的request的推荐之后的内存数是67,如果用户能apply上这个推荐值,那它的内存就能降低3%,内存使用量就能降低30%,并且不影响于不影响业务的健康和可用。右边是一个开启了物镜能力的两个集群,他们也之前是51%和50%的CCPU和memory的分配率,包括2%和80%的利用率,在使用物镜内存压缩之后,内存压缩值百分之原来的60%也是大概就是30%的压缩性能却没有明显的变化。
58:06
这个是我们把内核能力export出来,成为一个云原生的一个使用方式,呃,用户可以通过简单的修改或者在集群里apply压某就能开启对指定业务的压缩内存压缩能力,首先用户需要在需要安装一个t ke的一个组件,这个组件只是只配了就是原生节点,这个组件叫QA,首先q agent检测到呃用户呃,我们可以看一下使用方式这个图,用户可以呃创建一个CR资源叫node OS, 指定指定压缩节点的,就是想开启物镜压缩节点的label,这个label。这个label,比如说叫这个压缩这个这个单这这个match了这个等于的这些这这些label,然后这时候我们QS agent就会在,呃,QS agent就会在这些节点上开启。
59:09
开启这个物镜压缩能力,主要是挂载一些咱们的设备,第二个就是用户,呃,节点上已经开启了,但节点上会跑的是业务,哪些业务需要做内存压缩,用户可以创建一个pod QS对象,然后呢,通过label select, 比如说compression冒号引来选出用户的业务,所以说我们就支持细力度的业务的内存压缩能力。下面就配一个压缩等级,压缩率,压缩率越高,对内存的呃对呃,内存压缩的效果越好,但是会付出更大的,这个付出一些CPU上面的呃消耗后面就是原生节点,也支持基于压缩,压缩成果的一些监控指标。我们主要关注我们为业务省了多少内存,How的节约,内存的大小是Z压缩前的大小,减压压缩压缩后的大小,用户业务可以通过这个指标看到底为用户减少了节省了多少内存,当然也可以看付出了多少代价,主要是一些额外的CPU开销,主动的IM和Z内存的读取。还有就是我们回收的页面是否够冷,比如说我们的psi指标,包括CPU这个pod的CPU memory和Dis被系统打断的,打断的时长一些,呃一些就是继续,呃,配置fault的次数是不是,呃是不是。
60:38
回收的液是足够的。足够的冷。当然了,开启内存压缩之后,我们也要通过节点的稳稳定性指标来判断一下。判断一下我们的配置,包括我们的压缩比率,呃,是否影真正影响到了节点的稳定性,因为节点是共享的,我们可以通过一些指标,比如说节点O数,还有P的一些指标和这个块设备就是0设备的I的变化,可以了解到节点是否稳定。
61:13
第三个是面向调度的优化。面向调度的优化,我们做了一些就是基于真实负载的动态调度、重调度和水位设置。我们在调度的时候可以给原生节点指定一个调度水位,比如说只有CPU大于大于百分之呃,只有CPU<70%,小于60%的节点上才可以部署负载。然后我们可以通过呃虚放虚拟放大节点的可调度量,将节点的装箱率提升到100%以上,因为看了大盘的资源比,比如举例子说for CPU的这个资源,其实CPUK8S是基于request来调度的,但是好多业务为了为了申请更大的资源,它对CPU的request可能有一个估算值,它不是真正业务在运行时候的实际使用值,造成大量的request写的比较大浪费,然后统一统一让业务去修改request的,可能会影响引起pod的重建。那么我们就可以通过将将节点放大,比如说把四核8g的放大成86g的,只要它C真实的CP的利用率不要太高的话,业务是无感知的,却能在却能提高节点对于业务的装箱率。
62:34
第二个是我们支持拓扑感知紧缩调度。包括对于副本数的拆分调度,还有就是这个资源模拟站位调度。这个对于我们,比如说模拟站位调度是我们在我们在发布新,我们比如说我们在发布一个线上业务的时候,可以先将一些资源进行锁定。防止其他炮的抢占,造成我们的业务发布失败。
63:01
保护还可以保护现有的资源和未分配的资源,帮助帮助实现可控的强占和水平的扩展。面向调度的优化,这里我主要讲一下节点放大,节点放大也是用户需要去在集群里面create一个,当然这我们也有白屏化的支持,对于用API或C的一些S用来说,可以在里创建一个C,然后指定下大比C大C只有C分出目标目呃pod的调度的目标节点。做完以后我们可以看一下使用效果这个图,然后如果没有使用,因为它的利率比较C利用比较,如果没有使用的话,它的装箱率,比如说就CP的子,它装箱率不能超过百分100,使用使用使用放大以后的效果它可以超过百之100,也就是说它上面能装更多的pod,能帮助用户减帮助业务来降低成本。而左边的这个架构设计,我们只是定义了旁路的这个策略,策略呃策略呃策略controller,然后了,然后对库light做了一些修改,防止在在那个放大因子缩小的时候对炮的造成驱逐,我们并没有呃做了一些调度器的改造。
64:36
调度器在判断判断节点的真实内存的时候,是会真实内存和memory的,真实内存和CPU的时候会成一个调度因子,因此它可以调度更多的。最后是面向内核的优化,面向内核的优化主要是集成了一些如如意和呃内核,如意和内呃那个物镜的一些能力,这里呃支持就是呃原生经能的混部内核,保证高优的业务始终的稳定性。离线在离线业务同时存在时,在线业务始终优于离线,只存在于离线,离线业务得到运行机会,那在线会唤醒,在线会唤醒抢占离线始终保持始终就是如意的有一个如意最大一个能力就是它把它有一个就是绝对抢占BT方式这种调度,然后呢就是第二个是默认集成全维度的资源隔离和性能保证支持了CPU的超线程的隔离,内存QS增强,网络QS增强,磁盘IO的QS增强后,就是离线业务对在线业务的干扰整体控制在5%以内,部分子系统控制在百分之以内的,并且兼兼容和支持C的V1V。
65:51
库,我们通过这种在离线混把集群的一些产品化的一个能力,叫可可抢占式照顾,我们通过抽取集群的闲置资源,当让他当成一个就是呃呃当当成一个KS的external resource, 然后呢,用户可以在这些资源上创建赵博,因为赵博是我们认为赵博是一个离线的业务,通过呃,通过抽取一部分未使用的资源,让用户使用它的离线业务,当当在线业务上来的时候,他会去抢占这个离线业务。
66:27
可以提升整体的这个集群的这个吞吐量,从而从而那个降低了这个用户的成本。它主要适用于一些消息队列和转码和大数据,大数据离线混的场景。而而那个tensson OS主意强隔离的这个保证确也确保了高优业务的这个稳定运行,这个也得到了一些用户的使使用的一些点赞。剩下就是原生节点,呃的极致的节点运维,嗯,我呃,原生节点可支持了KS声明式的方式来管理节点,我们可以声明节点的故障自愈的策略,声明节点池的扩缩容策略,声明目标利用率的策略。
67:13
包括一些配置,配置参数,呃用用户可以直接写一个ya某,由于左左边这个图,把这些策略都写到这个压某的一个play到集群里面,相当于用户可以支持通过压方式,就跟workload po的service一样来管理它的这个资源。还有就是极低的迁移成本,一个普通节点是怎样通过一个样怎样的一个方式就有了原生节点的能力,首先原生节点的一些机械能力,主要就是BIOS能力和声明式运维,还有自动运维的能力,我们可以通过我们现在也做了这个服务升级,一个普通的普通的一个节点通通过服务升级有两种模式,一种重装模式,一种原地转换模式,其中原地转换模式是业务不感知的业务不驱逐节点,不重装,然后把它转换成一个原生节点,它就有了这个能力。为啥要只有两种模式呢?因为因为一些内核的能力,比如QS隔离啊,可强啊,内存压缩,它是需要重装内核的,所以说我我们我们就做了一个两种模式,用户可以根据自己的业务来选择怎么把普通节点升级成原生节点,从而有这个降本增效的节点能力。
68:29
最后就是客户案例分享,就是某一个业务是它是以就是硬盘存储,当然了这个其实也适用于就是CDB的这个,CDB的这个。呃呃,这个是用户的业务,是一个以磁呃磁盘存储为主的分布式的KV存储系统,主要是应用于这个社交业务中的图片视频文件。它部署在这个TEG的TK叉平台上,我们发现,嗯,现在主要是一个小核心大内存的问题,节点的内存分完了,但CPU剩余较多,造成CPU分分配不上去,分析发现这个和CU的比值在3:5之间的占40%,是造成CPU的。
69:12
呃,C们启百了74%,然后对于持续对其他模块进行优化,基本内存的优化率都在50%以上。第二个就是节点放大,水位控制,提升这个资源利用率。呃,用户的用户的一个诉求是用户部门的CPU的考核是35,但现在是不足10%,但是它的装箱率很高,不能在节点上部署更多的号了,实际利用率又低于10%,而而难以推动业务去整体的去调request,因为大部分的提高装箱率,呃,都是要让业务去改request的,这样的话业务需要改自己的这个CICD的系统,包括会让业务的重建,会可能会影响影影响业务,所以说他的诉求是希望在不影响业务的情况下,对对整体希望整体的。
70:23
降本业务,但业务是可接受迁移的,原节点方案就是通过节点放大,就是刚才我说了去一些来帮助把CPU放大了3倍,内存放大了两倍,然后实际的收益就是说24小时内CPU的峰值提高了36%,内存提高了50%,并且业务,并且业务也并且业务也没有感知啊,大家可以看一下,这时候看CPU的分配率,也是装箱率。提高了153%。好,我的分享就到这里。嗯,好的,非常感谢胡老师带来的精彩分享啊,那我们现场朋友,如果您有对t ke housekeeper原生节点感兴趣的朋友们呢,也赶紧去扫码添加我们的小助手企微,获得专属的咨询服务,也还有机会领取到更多的数字化的干货材料哦,那同时呢,你也可以打开微信搜索腾讯产业互联网干货库小程序,点击首页底部企业创新在线学堂的模块,就可以观看往期直播的回放视频,获取胡老师讲课的精彩课件啦,也再次感谢我们三位老师的今天精彩分享啊,那现在呢,我们就来到了很多朋友关注的问答环节,嗯,可以看到我们的评论区的观众今天提问热情也很高啊,看出来都有在认真听讲哦,那时间有限,我们抽取了其中的一些问题来给三位讲师现场回答,那如果您的问题没有被抽中,其实也没有关系啊,您可以扫码去添加我们的小助手企微,获得完全免费的1V1咨询。
71:55
服务好了,那现在就开启我们的问答环节,我们来看看观众提的问题。首先第一个问题是这位朋友问到,同一台机器上的数据库如果都开启了弹性能力,那在同一时间段内大家都高负载的话,这种极端的资源增强会怎么处理呢?会不会出问题啊?请杨鑫老师来帮我们回答一下。
72:18
嗯,用户提的这个问题确实是很极端哈,就是说如果大家都一个数组机上,大家都开启了弹性扩容能力的话,然后我们会根据任务对优先级,让前面的高负载实力会先进行扩容,然后面的实力如果因为CP没有资源,就无法发起弹性扩容能力,但这个问题是比较极端的,因为对于同一个用户来说,我们会把它的实力打散到不同的数主机上面,同一个数主机上面通常是不同用户的实力,所以说他们同时高负载并且都开了弹性扩容的能力,这个概率是比较低的,嗯。
73:01
嗯,好的,谢谢,那再看一下我们第二个问题吧,朋友们问到发生扩容失败的概率会有多大,那每一台机器是否会预留一定的buffer,机器CPU的使用率大概是在一个什么水平呢?还是姚老师。嗯嗯,好的,就是像前面说到的,因为呃,同一个宿主机上面通常是不同用户嘛哈,所以说他们的业务高峰期通常也是在不同的时间点,然后我们现在的机器也会预留足够的8分,呃,我们通常的数组机,它的CPU利用率一般是在20%,然后高一点的可能会有40%,所以一般会有几十盒的足够的空间来给用户做这个弹性扩容的能力,所以它的失败的概率是很低的。嗯。好的,我们来看看第3个问题,请问集集群版的搜口语句是否有变化,是否需要重新开发呀?嗯,集群版和物理机版只是部署形态不同,集群版是基于t ke和CBS,然后在云上部署,但是它的MY内核和物理机形态是相同的,所以对于用户来说这两个都是兼容的,都可以把它当做一个MYSQL实例来使用,然后业务是不需要重新开发的。
74:21
好的,那我们集群版的食言差距有多大呢?呃,实验差距这里可能,嗯,有几方面的实验哈,一个是集训版和物理机的网络方面的实验,因为他们的网络架构是相同的,呃,用户CVM访问CD都是先经过V,呃,CVM的主机,然后再到VCV,然后再到CD,所以它的网络链路是一样的,在这里它的网络基本是一样的,这个是网络然后的话。嗯,因为我们物理机形态使用的是物理机,然后它用的是本地盘啊,集群版用的是CBS,所以相较于物理机的本地盘,CBS它的那个IO会高几十微秒左右,不过CBS它有更高的IPS性能,然后再加上我们在内核层面做了一些的优化,所以即使它高了几十微秒,但是整体它的性能来说集训版是更高的。
75:19
好的,嗯,我们看一下嗯,观众朋友们还问到目前有企业在用集群版吗?集群版的性能测试报告有没有呢?嗯,目前有企业在用,因为我们企呃集训版上线不久,所以是给一些呃特定的用户嗯来邀请他们使用,然后这些企业目前也在陆续的灰度上量,然后性能测试报告的话,我们后面测试和产品会把这个报告放在官网,然后呃如果用户需要尽快了解的话,也可以给我们提供单咨询,嗯。嗯,好的,那我们的朋友有需要的话,也可以去我们的官网去啊,找到这些信息,好的,感谢啊杨老师来下一个问题问到Tencent OS降低运营成本的原理是怎样的啊,这个问题请赵建老师来帮我们回答。
76:11
嗯,好的,呃,刚才我也讲到,就是主要从天S的核心三个特性,如意、物镜、雾灯来降低运营成本,呃,主要呢,如意通过提高CPU使用率,离在线业务混合部署,提升资源的可控性,物径呢就提高内存使用率,通过CBM5PO降配、内存超卖等场景来降低成本,而雾能呢,主要是呃降低能耗成本来实现的。对,主要是这个三个方面。好的,那请问有没有火眼的一些实践案例呢?哦,目前活影的优化已经在腾讯云数据库MYL进行了呃深度优化,并在云数据库housekeeper集群榜上上线,呃,目前有嗯手机的头部企业已经在使用,综合的QPS性能提升可以达到70%,具体可以访问腾讯云官网来详细了解和体验使用。
77:08
嗯,好的,最后我们的观众朋友们想了解Tencent OS server是开源的吗?哦,看来大家比较关注这个问题,首先呃,天O呢server呢,首先它是一个商业版本,呃,经过腾讯海量业务的验证,用于企业服务器的商业应用,提供稳定、可靠、高性能的运行环境和企业及服务,呃,可以通过腾讯云操作系统官网具体了解和怎么使用。另外呢,我们也推出了开源版本open cloud OS是天o server商业版本的重编译,可以提供了企业级的服务和应用,大家可以通过open o开源社区了解和免费使用。同时呢,我们也希望更多的开发者和生态伙伴一起参与,共建open cloud OS开源社区,解决我国操作系统的自主可控的问题,呃,促进基础软件的可持续发展啊,谢谢,嗯,好的,谢谢张静老师,那再来看下一个问题啊,我们朋友问到,请问除了内存压缩以外,原生节点还有其他哪些的功能,大约能够给我们降低多少成本呢?啊,请小亮老师来帮我们回答。
78:19
啊,那个这个主要就是,如果还有刚才我讲,那就是节点放大,理论上讲就是说你你的那个CPU和memory的利用率呃提升了多少,那你成本理论上讲就降低了多少,比如说你的c memory的利用率提升了20%,那你成本差不多就降低20%,然后呢,就是还有就是混,就是QOS的这个混,通过我们配置一些策略,在通过原生的方式,然后这个混也能是大规模的,就是提高这个资源的利用率,然后这个也是剩下的就是分分,那个刚才还有哪些能力的话,刚才讲了就是原生件的机械能力,主要就是一个FS能力,还有一个声明式运维,就是说我们可以通过操作集群里面的ya某,就是就跟你就跟你创建一个pod一样,你去改pod的ya某来去操作原生节点和节点池和节点,包括你可以去定义呃节这个节点的可用区,只是改压吗?然后呢,你是可以定义这个节点的,这个生命周期管理升自动升级的窗口呀,还有一些。
79:19
保本参数呀,包括都可以不用写一行代码,通过声明式的方式来运维,第二个就是呃,第二个就是这个,包括我们支持health check policy, 它也是一个,它也是一个,就是一个KS的一个CR,这是我们自己写的controller,然后你可以定义一些的时候,你你应该怎么办,呃,比如说重启啊什么的这些策略,就是它有一些这样能力,当然还有一些小的散的点,我就是说一个就是大家经常会用到的,也是一个降本能力,就是我们支持po子的原地升降配,跟社区不同的地方就是我们原地升降配的时候能做到业务的不重建,比如说你的CPU memory从低到高可以改一下,可以从低改到高,也可以从高改到低,比如说你设置的不合理,然后的话,可以可以通过我们因为模我们自己t ke门腾了社区的代码,我们模改了这一块,然后呢,支持了pod的原地升降配,这也这也是可以降本增效的,如果你写的不合理的话,可以通过修改成正确的值。
80:20
好的,感谢感谢老师,那我们来看一下下一个问题,请问是否有一些电商行业的相关的应用案例呢?啊电商电商到这块儿还具体没有,主要是我们比如说我们这边的自研业务里面用的比较多,就是我们自己也用原生节点,我们自己的控制面。二一个就是我们内部的,呃,内部的游戏业务,就王者荣耀呀这些的,他们的一些场景是使用在原生件,因为他们对降本的也也有诉求,包括他们咱们就是咱们那个公司内部考核这个云原生成熟度,然后用的比较多,包括外部的有一些就是比如说那个互联网的那个,呃,链家呀,还有一些呃,小额呀,这些就是这种小的这种,小小的这种。
81:05
啊,包括那个呃,未来汽车呀,这种场景,它用的比较多都是千几千,嗯,就是几几千核心或者是2万核心以下。好的,哎,我们看看最后一个问题啊,今天最后一个问题是问到怎么从非云原生的节点迁移到云原生的节点呢。嗯,这个我其实刚才也有讲,就是说用户可以在呃,这个能力首先是支持呃,就是白屏化的,用户在那个我们的控制台上,每一个普通节点后面会有一个服务升级,你点了这个按钮,你可让会让你选择你到底是通过重装升级还是原地转换升级,升级到原生节点,然后呢,然后但是这个能力现在是开白使用的,就是说可以提工单,提一个工单,然后你要用这个能力的话,我会帮你开白,然后你在控制台你就能看到这个按钮了,然后你就可以根据你的业务场景来选择到底是重装升级,就是说重装升级原文件所有的机械能力你都可以有,或者是原地转换,就是你没,但是没有混部和内存压缩这些能力,就是可以用户自己自己来选择。
82:14
嗯,好的,感谢小亮老师,也再一次感谢我们三位老师今天的分享,那我们的问答环节就到这结束了,我们今天的课程呢也接近尾声了,感谢我们观众朋友的参与,如果啊您错过了我们今天前面的直播啊,或者是想要回顾精彩的内容,那您可以在微信中搜索关注腾讯产业互联网干货库的小程序,观看往期直播的回放视频以及下载我们的活动资料,那期待与您再一次相聚在腾讯云的企业创新在线学堂,一起探索更多的创新技术和解决方案,助力您的企业呀迈向成功,我们下一次课程再见。
我来说两句