00:04
女士们、先生们,大家下午好,欢迎各位莅营腾讯云加技术巡回深圳站的活动现场,我是主持人慧欣,非常高兴也非常的荣幸能够和各位朋友相聚在此,共同的参与这次的分享和交流活动。随着移动互联网应用的普及,终端设备对物理世界信息采集称指数级增长,给业务系统以及数据中心带来了更大的挑战,企业呢,既需要弹性、稳定、安全的云端计算、边缘计算来支撑各种应用,也需要it系统可以轻松的梳理高并发、可扩展等大规模的应用需求。本次活动以大规模应用的计算技术实践为主题,由腾讯云的技术专家以及我们优秀的企业家来和大家交流在大规模应用场景下的计算技术的实践。那在正式进入我们演讲分享。
01:05
讲的环节之前呢,在这里友情和大家分享三件重要的事情,第一呢,首先是我们为了方便大家更好的学习交流和沟通呢,我们组建了一个微信群,大家现在可以拿出您的手机来扫描我们的二维码,加入到我们的群聊当中,不管您是在我们的活动中以及我们的活动后期有任何的疑问,都可以在我们的群里面进行分享交流。那第二个就是本次的活动也设置了我们拍照集赞的小游戏,大家稍后可以在我们茶歇的时候进行拍照,然后可以在朋友圈集赞,当我们的活动结束之后,可以获得相对应的礼品,所以说大家一定要积极的参与到我们的活动当中。那第三呢,就是在我们的微展区,有腾讯云计算和腾讯云大数据产品的展示,也有我们的工作人员对大家进行详细的讲解,欢迎大家积极的参观。
02:05
那接下来就正式的进入到本次的分享环节,首先呢,有请腾讯云计算高级产品经理邹宏宇带来多样化的计算形态的主题分享,掌声有请,我是来自腾讯云的计算高级奖盈力和摇动率,那么很高兴呢,今天能给大家带来一次分享,那么今天就想给大家讲聊一聊哈,我们现在在腾讯云已经能够为大家提供的多样化计算形态,很多人呢会把会把云计算比作是社会发展的水,还有电,那其实呢,个人觉得这样的比喻不太恰当,到时至今日呢,呃,客户对于计算产计算形态的要求是已经变得非常多样化,可能有的客户是需要一杯咖啡,也有的客户是需要一杯温热红茶。
03:01
更有的有可能是需要一瓶强劲的欧盟课题,那么今天呢,就讲给大家从云计算开始,到目前我们所发我们的发展来进一步的去了解,可自解,那么在最开始哈,腾讯云主要是服务于一些中小企业的代码,以及是一些啊创业型的公司,在传统的自建模式以下,客户需要一次性的投入非常大的资金来进行自建机房,还有采服务器,而且客户必须通,必须啊,通过峰值的流量来判断自己所需要采购的服器的量度,而且整个机房建设下来呢,也长达数月,所以说一个产品从设计到上线经过的周期是非常长的,这也极大的拖慢我们社会发展的一个进步。而且通过峰值来判断才是国际资源这个情况的,其实在正常的情况下,流量往往是低于的峰值的,所以说在很多情况下面会造成非常大的资源浪费。
04:07
导致呢,客户或者企业需要去发展啊,去发布产品呢,是有非常大的现金的负担,以及运营成本啊的投入的,所以说在云计算就大大的释放了这样的啊,有运营压力,那么腾讯云呢,最开始是利用了自己赋予的资源来通过我们一套自研的1C调度系统,让客户可以在几秒之内就获得了我们一些计算资源,而且能呃快速的弹过缩容,而且通呃经过按秒级来计费,所以说在往呃就没有了之前那个利润比例的问题。那目前腾讯云针对社会上面对于计算机源的渴望,我们已经在全球27个地域,那么建立了七六六十多个人区,那么覆盖了北美啊,东南亚,欧洲等等的这些主要地域,而在中国国内,除了各大城市的一些主要地区节点,我们还在各大省会提供了一些电影节点,来满足客户就近接入的需求。
05:18
那在计算计算形态方面呢,除了传统的超六架构,我们也会提供啊丰富的异构战力,以及是高性能计算相关的一些高性能计算机群和单机多核这样的计算资源,同时对于一种特一些特种计算的需求的一些安卓平台的开发等等,我们会提供I家格的服务器来鼓励大家,那么接下来我将每在每一个部分我将进一步的去详细给大家介绍。那么对于通用算力来说,大家可能是最最熟悉的就是每一类码啊,其实都会提供这样的通用算力,那么在一些通用计算业务场景,比如说一些啊流量转发的业务啊,比如说一些网站服务器,或者是一些游戏的服务器等等,那至于是着重于去在Intel尔啊MD双平台呃运行发展,那么我们会通过定制的CPU芯片以及资源的服务器来给客户提供最高性价比的产品,让客户的运营压力不断的降降低,而且能获得业界最高性能的计算国际资源。
06:26
那么除了用级业务以外呢,在比如说他对h base等等的一些大数据集群,那么我们会提供一些低廉的本地高密存储的一些计算系列啊,再如这种高性能计算啊,PPPD算处理的这些,或者是一些基分析,还有一些高流量流量前的服务器等等这些应用场景呢,我们会提供高主营CPU的服务器实力来帮助客户去快速的适配方的业务,那么同时还会提供一些大内存性的业务去用于比如说value,呃,一些内容缓存,或者是一些相他的数据库的场品,以及是这种高度计算的一些产品,我们都会提供对应的实际类型,然后这这个呢,相信大家熟悉云计算也会非常非常的清楚,这这这里面的分类,因为每个行啊,这些都会提供这样的产品资源。
07:19
而目前呢,在最近这几年来说,客户的业务也发展成非常多样化的形态哈,就近几年在图像分析处理的人脸识别,自自然脸处理,历史图像分析等等这些产景的都包含的非常迅速,而且广泛的运用到大家的生活当中,比如说目前的我们的刷脸携手啊等等,还有语音识别啊等等的一些啊功能已经渗入到我们生活方方面面,而传统的一些操过六计算的一个能力呢,它受限于摩尔定率,其实性能是不断在线性的增长的,而且目前来看摩尔定也会逐渐触控到了瓶颈,所以说呃,这个超完六架后的性能生长是远远满足不了客户对于数据海量,数据处理或者是一些计算能力的需求的,所以说这就必须引入异构算力的支持的,那么在前几天哈,就在本周GD上GDG大会上呢,因为到了和。
08:20
也跟大家说过,就是说GPU GPU is design time,他把QQ比作是一光一台时光机器,让科学家能够在有限的时业里面做出他原本想都不敢想的贡献,就因为有了这样的算力支持,他能尝试不同的算法,他能够做出非常速的迭代以及进步,这也这样的计算能力也不断的反哺了我们的社会发展当中,这。那么腾讯云为大家提供了非常丰富的异战略支持啊,腾讯云的整个易商略体系呢,主要是以GE为主,同时呢会服务于NPU还fbga这样的商业资源,那么通过我们的一个GPU时空技术,或者是通过VGPU虚拟化技术,能够让客户在我们的上层产品,比如说黑石的物理服务器,云服务器的处理机呃容器,以及基于他塔的一个EKS服务,能够获取到这些异购算机的资源。
09:21
那么腾讯主要是会使用到了英特尔、AMD还有英美华的CPU,同时也会用到了在次的FPJ来满足客户在一些视频是啊,一些图像编编写码,图像处理等等方面的需求,也会引入比到海外的还有华为这样的厂商的NPU来满足客户在深度学习的高性价比的需求。那么客户无论是在图像图像呃图径渲染,在游戏,在深度学习的推理呃训练,以及在高性能计算和都分解码呢,其实都能找到属于他们呃符合他们业务需求的一些计算资源。
10:07
同时呢,在目前的新时代下面,也有越来越多的一些传统企业正在网云上去迁移,特别是这样的,呃,气象分析,还有一些传统的工业设计,比如说汽车的那个CAD,还有就是一些地质勘探,或者甚至到一些国家的天文射电望远镜,他们也希望去利用云上的这种快速部署的优势,不需要再像往常一样投入非常大的一笔资金来建设自己的机房,那么这也给我们云上的一些上业资源,还有规化上业提供带来一定的挑战,那么腾讯云呢,针对这样的上业需求也提供了,呃,在在纵向创业扩展上面呢,我们通过自研的信息含量低服务器啊,可以提供单机高达208核,还有78G内存的这样的算力资源。
11:00
而且在性价比上面能比之前的实力提升35%,这是啊,完全释放了我们腾讯自己的一些统一,还有一些技术科技的实议。那么在横向扩展上面呢,比如说客户在CPU资源208也满足不了他们的需求,他们需要更多的核数,多的核心,或者说在CPU资源上面,其实目前顶多一台一台波线呢,只能上到八张GPU,那么他们就必须用到波形运行计算的这样的一个啊多机运行的算力了。那么如何让波击运行计算能达到单机扩展的一个体验呢?我们就在提供了一个高性能计算机群,那么其中搭载的是RDV的D延时网络,正常的S网络呢,在我们的云上可啊,需要100多微秒的一个传输延时,但是有了这样的啊,因为我们加持呢,我们的长度也是可以达到两到三个秒左右,这是个非常强大的性能提升,也让客户能获得相当于是呃共享。
12:01
拓展的这样一个使用体验,而且在CPU上面呢,呃,有了这样的ID网络加持,它可以使用一个GPUDRDNA的技术,就是说所有在GPU上面处理的数据,你都不需要再走一遍,再经过CPU来进行内种拷贝了,这也能大大的提升整个QQ创业集群的性能,能够达到三到五倍的性能提升。另外除了我刚刚说所说到的一些异构上以及高性能计算的啊的场景来说呢,客户现在由于移动端的一些APP快速的发展,以及目前非常呃非常火热的智能汽车的一些发展,客户对于一些手机APP的呃呃快速的设计发布,你的车机系统的快速发布上线,都有非常强大的需求,他们需要一种暗服务器来去模拟他们在真实场景上面的架构需要,所以呢,腾讯云也提供了ARM架构服务器来给客户去使用,那么同时呢,腾讯云所采用的ARM芯片都是基于国产化的芯片,针对于一些有自主可控要求的客户呢,嗯,可以提供符合他们需求的一个基本资源。
13:22
同时呢,ARM由于是完全是由物理而组成的一款芯片,它没有像呃常规的AB或者英TEL尔这样的超线转,所以说在一些高性能计算场景呢,有它很大的优势,另外呢,在一些一项计算,一线计算的场景呢,有一啊较高的一点呢,呃,如果客户对于指定级的转换不是有特别高的要求的话呢,完全可以通过阿进店来进行以项计算来优化他们的计算成本。那么可能大家对于云计算的一些了解都是进行虚拟,认为是虚拟化是云计算的一个啊最重要的技术,但是呢,可能大家嗯,一些初创企业来说,它我就可能有成一只小鸟一只小鸟非常云端是非常简单的事情,但是呢,在目前产个互联网发展背景下面,越来越多的传统企业,或者是原本在线下已经固有大量IC集团的企业,都想利用到以上这样的技术,统定技术要求,所以说我们腾讯云也推出了这样的物理服务器集群,开始物理服务器来帮助客户快速的上云,来减少他们上游迁移的负担。在最开始我们黑石物理服务器呢,是采用像我们第一张图这样的,呃成力这样的,就是说其实物理服务器跟我们传统的,跟我们的云上的虚拟机呢,是两张独立的网络,他们之间的互通,他们之间的数据传输需要通过一个专用的。
14:52
网关,而且要经过DCL网络,这也会带来的就从昆明到物理集群的一个传传输实验,而且要投入非常大的成本,还有资金来维护怎样的,呃物理地集群,那够到前年左右,我们通过智能网卡来将护理机集群变得更灵活,变得更盘旋,让他可以在几分钟之内就创建出一台护理机的使命,通过智能网卡进行了网络,还有存储的虚拟化,将公有云的虚拟机和物理机完全有合成一张网络,来让客户使用虚拟机的同去使用物理机的同时呢,能够获得虚拟机的体验,能够用到云上的一些比如说文件存储,比如说呃CDM,比如说啊安全加减E这样的有效的产品,来进一步的加快客户向银他的迁移。
15:48
但是呢,仅仅做到这样还是不太够,因为呢还是需要有两套的硬件架构来支持,而且说物理服务器的这样的智能网卡的网络,还有存储的性能提升,那也无法去用于我们的心理机器产品上面。
16:05
所以说在去年年底啊,腾讯云发布了一款最新的水三创业平台系统,就是通过自研的芯片保护理机和虚拟机的经算架构完全统一到一起,那么将呃,网络还有存储的一些虚拟化能力完全卸载到了这个机源芯片上面,而在虚拟机平台上是留下了一种非常薄的那个汉信啊,就发用于一个啊,从用户台旁面有他的一些指名股东或者指切换。最大最大限度的减少虚拟化的开销,那么同时也将预我们原来的物理机的增量的一些性能,然后赋予虚拟机。那么在目前啊,通过这套水上资源平台算云台系统,我们可以达到在网络上的5000万左右的转发PPS,在呃,云盘存储上我们可以达到150万LPS,以及60G左右的一个云盘成本带宽,所以在这里我们可以强调的是,在云盘它的体呢,甚至比在本地的NV1盘它的性能还要更高更强。
17:12
那么随着社会的发展哈,客户对于上帝的需求也是会一定是会不断的增加的,也非常荣幸腾讯云能够为大家带来,为大家各位创新者,为让各位变革者来带来服务,嗯,也感谢大家给腾讯这这样的一个机会来服务大家,那么然后未来呢,腾讯云也会继续的跟各位一起成长去,嗯,不断的呃,变革我们的新,变革我们的产品来满足大家的需求。好,谢谢大家过这个,那接下来有请腾讯云计算专家工程师陈远带来全网调度无处不在的算力,掌声有请。诶大家好,我是这个陈远,腾讯专家工程师,呃,我现在在腾讯云最主要负责的是这个私有云和混合云服务器相关的产品和研发,然后今天我的主题是全网调度无无处不在的算力,主要讲的是我们腾讯云如何将我们的能力1:1的输送到边缘节点,以及私有云的场景。
18:31
首先回顾一下我们过去十年,是腾讯云高速发展的十年啊,十年间巨营也从一个蹒跚学学悟的打到现在如呃,学有所成。目前的话,腾讯云在全球从最初的三个地域北上广已经发展到了目前有27个地域,61个活动区,遍布全球五大洲。呃,从图上,从图上可以看出,这是我们全球所有腾讯云提供服务的这些节点。
19:13
啊OK,再来看一下我们现在崛起的边缘需求,首先随着5G互联网这个大的浪潮来,我们很多服务,比如说生活娱乐,智慧城市,工业互联以及车联网在快速的发展,而随着这些产业的发展,呃,我们会产生大量的这样呃这种边缘的海量数据,然后以前在在老的老的架构底下,海量数据都会传输在云的中心,通过的中心处理,然后再返回给电源的控制器,这里带来一个显而易见的问题,就是带宽成本问题和食盐问题,因为呃,因为一般这些这些生活娱乐,工业互联,车联网很多小型的公司都坐落在一些四五线的城市,它跟中心云的距离直延甚至可以达到50毫秒。
20:10
显然在5G的浪潮下,无法满足我们的这个时延和带宽带宽成本的要求,因因此我们这里引入了边源计算,我们会在靠近用户的节节点去部署边源计算边源计算服务器,然后通过这个服务器我们能够把数据首先首先上传至边缘计算节点,进行实时和管短周期的这个数据处理并进行决策。而同时我们在云中心区做大数据机呃大数据分析以及机器学习模型的构构建。来实现云中心区与边缘节点的协同。
21:02
呃,看完我们这个边缘需求,然后再看一下我们这里的私有化需求。首先私有化需求,嗯,一开始其实非常多的,比如说国外的aw安等厂商,他其实不是特别看好,但是在国内由于数据它有本地化,安全以及控制这样子的要求,所以要求很很多厂商需要我们提供这样子私有私有私有化的服务,让他们部署将将相应的数据管控部署在他们自己的机房内,包括在2018年,呃,这个一个比较出名的这个这个云云行商啊,这个服务商也指出。云云的发展趋势并不是将所有的数据都都配置云上,反而云服务应该是让本地的数据让让让让本,让本地的数据让云服务更接近于本地的数据处理。
22:09
OK,随着云技术的发展,随着云技术的发展,客户的需求也呈现了各种多元化的趋势,这里最主要的是有敏捷、弹性、丰富的公有云交付能力,一时也低带宽的成本,以及数据本地化存储与处理的能力。而我们腾讯云,呃,我们腾讯云为了解决这个用户的诉求,我们这里提出的解决方案就是将云的能力从中心延展到边缘,从公公有云延展到私有云,首先来看一下我们在这个能力的延展过程中,将什么样子的一种能力把握出去,首先我们有这个底层安全可控的基础设施,包括我们腾讯云自研硬件新星海。
23:07
然后还有我们这个腾讯云的这个OS,然后上层有高可用高稳定的I pass和sa服在上面是丰富的这个运营运维能力。而这些能力通过我们输出,输出到边缘,输出到私有云,让用户在使用边缘计算以及使用私有云的时候,能获得跟公有云一致的体验。OK,腾讯云主要致力于打造中心边缘以及私有一朵云,从图上可以看出,其实我们我们当前的这个模式有,首先我们把可用区的能力输出到客户边缘,我们会,我们会创建,我们会创建B安动边缘节点,提供正行计算能力。我们还有CPC一体机的方式,我们会把CCPC一体机配置运营商的节点,来完成边缘计算最后一公里的这个传输需求。当然我们最新的产品还有CPC一体还呃还会将CCCCE以及也能在客户机机房运行,来满足客户本地化数据存储和处理的需求。
24:31
当然所有的这个边缘节点以及运营商机房、客户客户机房,它的特点就是管控,实际上还是连在腾讯云公有region,为了节省管控资源,提高这个资源的售卖率,但是在一些对这个数据极其敏感的行业,比如银行、证券,他们甚至不需要也不希望自己的管控资源全部放在公有云上。在这种场景下,我们腾讯给出的给出的方案就是TCETCE是腾讯云对外输出的私有私有化的解决方案,他会把公有云,公有云的能全部能力1:1打包带带到客户的机房。
25:19
OK,已经完成了这个腾讯云,这个公有云,边缘计算以及私有云这样一个大就这样这样一个这个趋势,我们在谈谈我们这个卷网调度能力,正是由于我们这个全网调度能力,我们才能管理公云的同时也能去,也能去更好的控制我们边缘计算以及思维的发展。首先我来介绍一下我们这一次啊,我们整个腾讯云云服务器最核心的组建v station,大家可以看到这是我们这个v station核心的架构服务。
26:02
首我们通过at有M,然后连连上MQ的是所有是各种各样的组件,比如说这个这个这个错误组件,比如说网络组件,比如说CBS组件。然后这一块是我们所有啊,存储信息和消息流动的滴滴,做到所有的任务,这个可追溯,可查询,然后这这里面最重要的一个模块,就是我们的这个计算模块,也是我们的调度模块,提呃之前提到的这个边缘以及这个客户DC,实际上依赖腾讯这个腾讯模块,从上层拿到数据,然后在不停不同的地域选择,选择下发指令,就可以在比如说这个边缘边区,甚至这个不同的操里面创建虚拟机。
27:06
然后在设计上面,我们整个一套,我们整个一套station,实际上会把所有的请求指令细化成非常多的这个步骤,当一个每个步骤都是原子性,当一个任务里面的所有步骤都完成,这个任务也就完成了。为什么这这么设计呢?其实我们在这个这个发展的过程中也发现,实际上很多任务,它很多步骤和实际上都是非常类似的,在新增一个流程,新增一个组件的时候,甚至我们直接把一些sa把它排列组合,可能就会满足一个新的能力。这就是我们的v station,再来看一下啊,我们的目标当然是这个无限延展,让这个云无处不在,目前这个地图上所有的所有的点啊,包括公有云,私有云以及这个边缘节点,实际上已经已经较之前的公有云的覆盖已经多了很多个点,大家也可以看得到。
28:15
OK,最后呢,最后我来,呃,其实来这里也是主要是想下一款腾讯云最新的产品,也就是腾讯云本地专用集群CDC呃,如果关注到我们腾讯云的公众号,或者说相应的这个这个服务号的时候,大家应该能收收到新产品的推出信息,这个的话也会在我们三四月份的时候重磅推出。首先这个之前聊到便呃便面计算的时候也提到了CPC,什么是CPC呢?CPC实在实际上就是它载我们公有云能力的一体机机柜,可以是客户现场。他虽然在客户现场,但是它接入了我们整个公有云的管控,呃,原理上来说他,呃大家可以看到在这一块是我们CDC机会这里数据流它是通过本地网关,然后走客户CPE,跟我们的这个腾讯的B点建立连接,然后整个数据面我们是在同一个VBC类,意味着云上的所有最新的创新和能力都都能无缝衔接到我们这个CDC内。
29:31
然后不仅如此,在一些请求的高峰期,比如说这个双11,我们也可以把这个CDC也可以做弹性扩容,当CDC资源内资源不足的时候,也可以将资源扩容到我们的这个扩有云的这个微点区,当然我们由于CDCCDC类的子网和我们公有云区的子网在同一个这个大网络下面,所有的资源也可以做这个来回的热迁移,真正真正满实现这个极致的混合云体验。当然我们CDC在产品形态上,它不仅满足了这个客户本地化数据存储和和这个处理的诉求啊,也能这个呃呃也也能和这个呃,客户本地的这个机房进行不同,提供非常高的带宽。
30:29
啊,大家也可以看到这里实际上我们CDC内还有一个小型的4G模块在这里,实际上我们会在CDC内去安装一些这个,啊,安装一个D,为什么要安装这个D呢?因为大家可以想象我们所有的网络出口是吧,网络出口实际上都都是通过客户的CPE连到我们这个OPPO云上来,所以说当客户的网络出现问题的时候,这个时候我们整个CCDC实际上对挂了,相当于没有任何的联系,而这里我们如果加载了一个SD模块,它通过4G的网络信号接接接入我们云上的云联网络网关,实际上我们的运维运营同事也可以直接接入,辅助我们客户去排查相应的网络问题。当然CCDC最大的优势还是跟公有云全部保持一致,不管是代码的变更,还是说这个这个能力的拓展,公有云申请。
31:30
的同时也会升级CDC,所以说一些云上最新最最快的功能,实际上也可以在CDC上同步给给客户使用。在在这个网络方面,我们整个CDC实际上提供两种模式,一种是专线,一种是BPN,两种不同的方式跟云上进行打通。两种模式我们是针对不同的客户群体,对于那些跟云上的资源有强强不同诉求的客户,我们实际上是推荐他们使用专线模式,因为这种模式底下这个这个网络会比较稳定,带宽会比较大,而对于语音上资源没有强互通诉求,甚至说没有诉求的用户,我们会推荐他使用VPN,因为这个这个建设周期比较短,而且成本较低。
32:29
OK。行,这就是我们整个一个呃一体机柜CDC,实际上目前呃,我们已经有一些客户在在在使用我们的CDC,我们会将这个CDC机柜推送在客户的机房,然后的话,其实其实我们整个交付流程啊,跟自建机房通常越级相比,我们这个整个CDC的建建设周期差不多是啊一到两周,你可以想象一下,用户在我们控制台下单买一个新C,然后这个两周之后,我们机柜就可以推到用户机房,用户就可以使用到我们最新的技术,完全跟我们的云上进行互联互通。
33:16
然后是极致混合体验,营售能力,无缝延展这点,这点刚才也介绍了,包括资源的来回迁移,资源的水平扩容,我们可以,我们都可以以CDC为跳板,辐射到腾讯公有云,然后这里也是,我们这里也是提供就近计算能力,低时延,低带宽成本,因为我们CDC本,我们CDC与用户实际上更更像是一个,呃,这个这个连接器,它连接的用户的网络,我们云上的网络,当用户只需要在CDC只需要处理本地的一些数据的时候,他完全不需要和我们云上互通,在这里我们通过两个100G的带宽,可以直接连到用户的网络,真正真正达到低时延,低带带宽成本。
34:08
然后是本地化数据存储,这实际上有些客户会非常非常在意这个点,本地化数据存储,但是我们CDC能保证所有的数据都放在本地。不会不会,不会出到公网,不会通过这个数据链路,这个这个流到公网,然后最后也是这个设备托管运维,其实这是一个很重要的点,我们在前期在跟客户的交流过程中,也发现很多用户自己建造云遇到最大的麻烦就是这个运维运营能力,因为云本身系它很复杂的系统,它涉及到这个很多,比如说计算资源,网络资源以及存储存储资源,一般的用户实际上是没有能力去整个运营这一套复杂系统,但是如果如果是使用CPC的话,这一套整个全都是我们腾讯的运维运维,呃,运营运维,也就是说整个机柜里面的网络、计算、存储,用户完全不不需要担担心,我们能,我们我们我们使用的是公有云,一整套的运维运营技术,用户只需要担心的是。
35:22
他们跑在这个CDC上面自己的服务。OK,行,呃,这这差不多就是我的分享,感谢大家,接下来有请云集基础服务负责人高级经理张强带来高并发下的系统架构彩坑的主题分享,掌声有请大家下午好啊,很荣幸能够参加公司的分享大会,然后呢,我在这里跟大家分享一下电商行业里面啊一些技术架构,以及我们在做电商过程中从到里面踩会的一些坑。
36:04
嗯,我叫张强,我们是在跟认证语云音级高级经理技种投客人。嗯,我这里从四考跟来讲,第一个呢,是你一的简介图到一个过程,第二个呢是呃我们那个价值型和演练,那么第三一部分呢呢,就是改单的经那个鉴于可能分享的,这里会有一些们实现案例跟大家分享一下,那最后一部分呢,就是我们呃对于未来的一些看法。第一部分,呃,云集是一家电商公司,2015年成立,然后总部在杭州,深圳呢是一个研发中心,目前在合肥,就是呃与浙江合北一块基器一块基地,现在是在特服在合肥,然后2017年的时候呢,云计这段是增长非属新成本,然后我们通过40多万精品的爆,那个精选出来的爆款ku完成了往年增长4%的这个业绩,那到2018年的时候已经就是完成了。
37:12
B的融资,然后成为独角兽企业,当时是20亿融资,那么2019年的时候已经在纳斯达克花海上市。呃,整个发展的时候就是整个在云集统一发业的过程中非常快,因为前几年的时候在地商领域的时候,是一个非常大的一个一个一个后盘,那么现在的话,随着社区电商呢起来以后,这块其实没有上面来的更好的一份一个大盘来去去分享。这是云集从一,呃,从零到一的一个过程,那么我呢,也是一五年的时候加入,加入到云集,然后直到现在。云集的就是云集当时短短三年时间里创的一些记录,是跟现在PT的一些电商来比的话,这个数据也是不够的,但是在当时这三年的时间的话,还是够样子,那第一个呢,就是我们的单子,但是我们的最高销售额可达到2.78个亿。第二第二个方面就是我们在。
38:17
一周的时间内,我们的建模一做到先请三呃在86亿对,然后第三个呢,就是我们的单个页面都访问所常高达到十点,超过10.1个亿,然后第四部呢,就是我们在双11的时候,包裹量达到了380万。那么最高的销售额就是明天的销售额是在十点几个亿,这只是云集在就是前一九年之前的一个数据。Button。还是比较舒服。那么第二部分我给大家讲一下我们年级的一些架构吧,其实我刚刚才在云级的时候非常少,公司非常少,我去一级的时候,大概我们办公场地应该只有这个,应该只有个会议室的1/3,我给大家分享一下,对我去的时候那个座一保证还有一套网络计划,我我过去的第一件事时候写代码是组装这些东西,反正。
39:16
然后这是我们,呃,技术总监,然后面试的时候呢,就是他坐在箱子上,我在我也坐在箱子上,然后两个人在这里面都是一开始的一个形态,那么当时我们做法很简单,我们只是简单的完成一个业务闭环,我们一个程序员,一台1S,一台2D,然后就完成了一个。比较的一些错。那么在这就是在这样的架构下,因为发发展非常迅速,所以说它的特点来推动明显,那么第一个就是我们通过这种呃,单独的台应用服务器,一个数据库的话,很多问题的时候,出现很多问题的时候经常上,那个时候我们是在阿里云,就是你这个体系的话,你去找这个工本就不了你,所以说我们很多问题都是通过提工单的提工单来解决。
40:05
那么第二个问题呢,就是系统部署上的一个问题。就是我们所有的项目都在一个包里。我们想改任何一件的话,那就定会是一服务器,所以说用户在使用性体验出非常好,动不动我们服务器就是重新在下,或者说呃,挂了个广告升级了一下。那我觉得业务发展。越来越快,同时它的流量,它成绩的也是扛不住的,所以说我们最早在一五年的时候,应该只有三个程序员左右,再加上一个测试,就完成这一个业务闭环,那一五年的时候,其实你每个月的建已经达到了接近百万,百万层的建筑。所以说在这么一个监管的条件下,我们就把这个事干成。我不知道,现在大家看到这种公司还不会去考虑。好多是考虑入职。
41:00
那我就是15年一仅只是一个模范的阶段,我也是从这个阶段,然后业出去的,当时我们的CPU总先也是从培训出去的,找了他微信,然后聊了一下,这心怎这么干。然后到了二,到了二零的时候呢,就是我们的业务发展,那个时候的PPS已经到了40多万的时候,那么服务器原来我们的运维叫我们技术这边叫逢刺必挂,就只要你只要你有营销活动,活动做一些秒杀服器肯定是无关对。然后到了呃一六年的时候呢,我们这边结构上就是补充结论上做了一些调整,然后我们有两个刚概,一个是买家也是卖家,我们把买家和卖家AAPP分开两个版本,然后安卓和iOS这个版本在接入层那里面去的话,我们是通过阿里云,也是那个可流到阿里云,通过阿里云的高行叫SRB,然后流到分机,再到接入层,再到我们的D域模去,那个时候结构也是非常简单,当特别特别明显,大家都是显的特特别明显,当时的时候呢,就是CBA是块气统,然后数据库这块是做了逐渐分离。
42:20
然后缓存部分的话,我们是加了一个release的,然后这里面整套销售系统二里当时也是不能够满足我们的业务,所以说我们当时是每个晚上基本上加班都要到十点多钟,然我们去做我们3.0的改造,那在2.0这个版本里面去的话,就是我们在接入层上面流量可以支撑更多,就是我们淘快的这层接入层可以和降去部署,然后服务服务器的话也从原来的几台到了几十台,然后人数的时候也在均匀招人。做这个可能时就求自己。然后这套系统最大的问题是在于我们的业务之行,就我举个例子,比是说我改了一个很简单的一个理论,那我可能会告诉我整条线都会发布重型,所以说这块的话也是非常健康耦合在颈的,那么还有一个很典型的问题呢,就是说我们的输出啊。
43:13
虽然说做了图形还是很难去满足我们的线上的一些应用场景的情况下,那一个表格含进来的话,我们能够通化那整个应用的多性。所以这是2.0时候的一个限度。第三一个呢,就是3.0版本,我们现在这一套跟这个差不多,所以说我们在这块都花很长的时间啊,就是从基本上从一六年开始到一七年,我现在一八年的话,只是说是把这些会更完善更细了,那我们做一件事,这个我今年微服务做了播放,我们把所有我们的那个主干,以及H5,还有我们的一些小程序,就主办的这些全部把它都留到我们接入层,我们接入层那5S服务所,我这来是我们团对的域名对的这个所走的项目。
44:05
那么第一个呢,就是我刚才说了接构层,然后我们还做了业务层,他业务层这一块,我们当时的一个做法就是说营销服务,他经常会给每年双11或者说是双12,各种各样的那些电商呢,他的玩法都会。什么红包鱼啊,什么什么鸡赞啊,什么点赞拉人头各种什么所这一块的话,或者高速的支撑业务发展,回们把它单优的,其实我们管这几个业务我们管叫营销,然后第三块呢,就是我们。中台服务,那这个服务其实呃,我们在我们在做总裁的时候,差不多是做了两年的时间,然后我们现在在转上上这个工作。就是我们会把我们的一些基础服务全给做出来,那这块的话是为了快速的扩,就是拓展上面的业务,其实我们这一块还有很大的一些,比如说我们的供应链呢,还有我们的订单渠道化费,所以说在人员的不变的情况下,我们要单独提些业务发展,所以我们就做了非常多的那个中端的工作,那么现在整个这一块的话,应该是我们从原来的一个服务现在开了,当然应该是有把技术组件存在的话,现在应该是有50个的。
45:23
对,然后第三个呢,就是基础成本这块,主要是我们技术部在做的一些第三方的一些,呃,组建以及业务框架这种。第四块呢,就是数据,原来的话,我们数据库是。用单写的去比,那么MY挂的时候,这个后面加它也有一个热的问题,所以说我们现在数据图都有一些无关一型数据库和微观的数据库。那么这个是我们目前云集的一个,就是前段最终的一个架构,大概是这个,那么现在现在的话很啊,比如说我们的供应业,那么云集是目前来说应该是电商领域里面就是自主的当中最多的,我们供应链从入库一入流到推出到仓库管全部是废,现在很多比如说像呃鲜红水果啊,可能也宣传到我们的系统。
46:20
那么是这个是云集300的一个业务架构,那么基础架构其实我们也做了相对的交流,就是我们原来的时候就是没有做化,那我们现在做服务化的一部分就是解决了至少解决了一点问题,或者说能用线解决的问题都不是问题,所以说我们现在这呃,原来最高的时候在八比,像每个月服务器成本大概是,就是像双11的时候,大概是接近一千万百是算的一些,光服务器费用还分算你的那些一些增值的服务,比如说补信任一些是。那么所以说我们当时。想的第一件事就是我先用前端数据。
47:00
所以我在这里进行个服务,放,那么我们最高的时候,比如说我们的商品服务,我们最高可能会付500,那我们每每天按照两期的那个特别数来算的话,实际上也都。大大部分就是当时的一些某种学的一些特别的东西,那这个领域里面呢,我们还是在。就是在这一套三里云架构里面,还是在阿里,然后我们是在19年2019年的时候,我们是把我们上半的服务器,当时也有很多腾讯的都pass,业务已经到了这家新跟我们公司现场举发,熬了一个通宵,花了六个小时,我们把1万多台服务器全部从阿里云册培训。所以当时给给阿里云那边的。业务性非常高的,很快。第二点就是负责。那我们在商业里面的技术架构呢,在这一块。跟原来差不多,但是我们在业务这层的话,我们是做了很多的服务的,所以说我们这次每年最大的问题就是我们要扩容的时候,我们会这边把你都提前家的也做台,装台机器还同区,因为很多就是相很多做都怕,如果我们服务器不在区,他该是我耗时的,所以说我们会有一前区分的。
48:21
那我中间组件这块呢,也是花了很长的时间去这。底层的话,我们是有一个是白色的,然后我们后面把白色的这个是一个12米或者公分都分了,那目前云云集现在订单大概是64个po,分为64个库,所以说按照我们的一个规模的话,这套架构大概可以至少是到3.3到五年,就是你分下来一年按一个订单算的话,1000多个点,就一年下来的话也就是几百万订单,嗯。呃在呃,这件事情大概是在11717年到一八年是完成的,那么我们后面就是现在的这个阶段呢,花了很多时间在这。
49:02
就是第一个是我们的基础应用的一层,比如说我们的日志到水调验压测,对这块的话,很大的一个实验去做,那么第二层呢,原来我们是要做到死而无僵,这是我们平台可以逛,但是做能一关起来,那么后来的话,我们的这说做了,针对这些高频发的场景,我们也是做了一些公司的,比如说我们自研的一套压测系统快盘。然后过了现有这样子伙伴组的,所以说我们现在平台基本上不管你是什么时候发完都说都呃报告里面服用五百分之。那么这个系统下来的话,就是公司发展就是也也是非常大的,就是我们完成一个当时公司的重大的是400多万。全是团队400多人,然后最高的服务器是300台,我们当时从呃日常的时候,我们房东腾讯云迁到从阿里迁到腾讯云的时候是1万多台服务器。
50:02
对,然后因为通过这套架目的话,最高是是的100多万的客源,那这块包含直播,然后我们现在做的事情就是我们需要把这些全部种计化,那当然这块还没做完,对,所以这套系统,这套这套系统就是架构底下它的几个亮点,一个呢是都完成的,这个我后面会讲,然第二个呢,它是逻辑现有。然后第三个呢,就是。就这样子。啊,那我现在跟大家分享一下,就是刚才是我们一个系统的演练,以及公司的方案情况,那我现在跟大家分享一下,就是我们在一些就是上经。积累一些经验。就是我们这家公司,呃,印发针对BAT来说不大,但是我们公司有个特点,但是完全我感觉就是有时候运营就是对于我们来说。
51:01
很就是很很有吸引的那种K方款,我们都知道的,比如说我们公司原来干过五块一毛五块一毛六,呃挖掘机,那这种情况我们是可以可以去做一个提现的扩容,或者说是现有配置降值的,那还有很大的分丝,呃用动物还考虑包含出来。比如说一。所以所以说我们的系统化的运营做的话非常多,那么我们。现在的系统基本上就会通过这三套方案来维持线的线路,线状系统,一个线状性缓线流降级,就是纵向的话,我们可以相一款在是里面这面,那么横向的话是每一个,每一个就是。这个技术点具体的一些一些一些性性趣也是从第一个到分个,那么缓存这一块的话,我们预其原来是。非常少使用的一个CP,就是所有图片进的资源全部5CP,然后再。
52:04
那么最近的话,就是近几年的话,我们这块版基本上比较够完善,我们从。就是客观缓存,特别是像双11的时候,我们会把缓流相开始,这样从客观缓存得到缓存得到定,缓存得到到平,那么这一块的话,客户端嘛,就是非常存单的,就是说我们是不用去掏钱的,这个完全可存在用户手机里面,所以说像双11的时候,大家看到经常注词里面,或者我订单那表里面的那个那个小红点的数量。他为什么不会立马关机,或者订单状态都部分他缓存的原因。然后第二个人基本呢,在这块,就是说像我们所谓的双向的资源的话,我们可在这块能够大大减少这个一些压力。呃,第三一个呢,就是从N9款到的就是用本地版的,本地版存的话,我们现在是,呃,刚才说的我们前交了类,但类有这样的问题,大家会想一下这个问题,我现在相面有个价格,我要放在题,那么每一次我下单的时候都有量的价格,那流量一并发高的时候,它就会成为热问题,所以说我们当时单排的四核8G,可能80016G一个服务器上面的。
53:19
最多到了80万,八十万一是多少关,就是80年的时候,我们就告诉那这个时候基本上这台服务器时,我们会认为还是要下去上要做多的,所以说我们去。所以说本地缓存我们的做法呢,就是把的数据交给到本地,那么本地失效我们是不允许呢,直接读后端的,那么这个如果后呢,就会出现一个计算中就直接就把我后端的release,或者说是一个也忘了。那么来养殖说我们不能去做一个商业,这我们集群求的话,就是整套根据业务的现在走及根据他的单子群的话非常有。
54:00
然后第二个呢,就是限流,限流的话,SR意思就是说就是在云上进行一些流量跟运营的一个分发,然后第二个就是流,呃,全局性格,全局性格我们现在是为什么这么扩呢?就是我们扩容对于我们来说,就对于对。对于双11这的活动来说,呃,我们流量其实是很法精确的预估的,所以说我们基本上都是根据以往的一个线性增长呢,再加上本次双11的一些货,我们大概预估我们的流量的要进少,但是这一块本来很大的问题是。我本来就80万,我要打到总其实是没问题的,但是后面可能有些关于忙的朋友的,他现在会搞一个50万,所以说我们这边就做了一个选先流。然后再到A端的接入层,再到方法面,都是一个单一度的限路,我们一直会控到某,控制到某一个方法里面去,让他每分钟或者每两要多少次降级,这块比较简单,就是我们把一些非非核心的服务,非核心的业务以及非核心的方法去分把给降子,比如这里我也举个例子,比如说我们在双十前,就是九点钟开始整点支付的时候,那个时候的话,我们肯定是把微信的那个。
55:19
支付接口是通华的,因为微信的支付接口都每一个企业的一个QS,所以我们但是他的一个QS是把支付和这个两套放在一起,所以说我们当时经常做就是支付的钱半个小时我是不让你退的,过了半个小时过来一个取线下来的时,我就把这个收后绘本放开。所以说B端系统里面很多就是需要这三端方来做,那么从B的话,我们可以叫。空间换时间,那么第二个线索的话呢,就是实现工作人员够体间,我保证我保证我们时间也做到整体的换的行,那么第三个降值呢,就是说能以最小的退环然完成这个交易电度的一个一个正常的一个进行。
56:08
像一些非的服务,如果他是你现在主用的话,那我们会还会有到环境,比如说。评论啊,然后还有一些什么朋友圈啊,这些动的消息啊,如果影响到平常,就我们就把它删掉。那这个是印刷视频的,目前我们是这么做的。然后说下身嘛,就是当时因为对于我们来讲的话,公司发展非常猛,就是三年的时候,其实我们的用户已经接近上亿了,我们最高的一天其实让是能到最高就是到了760万用户,所以说对于我们一个高进度电商行业的人来说,然后面对这么大的一个使用体系,其实我们都是也是从一统一道一者为准。那这里我。讲四个就是能做在做电商系统或者什他系统常会遇到的问题,第一个就是满足三的问题,那满足三的问题就是我刚才说的就是我或者说我的,呃,比如网和S都给,只要你把所有的流量往里面走的话,一定会掉,那我们会把源变的话,那比如说我在云上,我有外台商品服务,那么我可以把。
57:21
原来一个分层单节点的数据啊,下发了500台,那我原来集个自那挂一是挂自那500台,我挂个一层台,其实里面不到分,所以说如果你通过一个分类子节点去做的话,比如说上我话或闭方任何问题,所以针对这个问题我们去怎么解决呢?那就是把能失效的候,我们不直接不要直接往下走,往下走永远是写功呢,就是么走到子子不对吧,走到第一点第这样。所以我们的做法就是活写活写的力或者活写的二,然后穿透的时候要注意往下走。第二个呢,就是BB组合延示的问题,其实这个问题是个非常低级的问题,但是这个问题的话,对我们的公司当时工作损失是接近接近了100多万,虽然我举个例子来讲,就是原来我这边就是我是负责这个服务的,就是负责整个交聘接的,原来我这边呢,有一个有一个开发。
58:22
就是我们也说了12点做的主动分离,乳腺分离,那么按照检查的方框架,比如说白干的那些呼叫。好,那默认是把我们的图就三于把分流到。部面去,那把你的血在L1的来就会放到这主部面去的,所以说流量更高的情况下,或者说是LPS不高的情况下,其实主攻之间的同步非常少,在一也没有什么影响,那么我们越来的时候,可在双11的时候,这个订单地方量非常高,然后主成时间呢,它产应的延迟LP也非常高,大概延是200,我们有这个复盘,它是影响280度的。
59:08
那么有些用户我们运营其实就是APP上面有一个概子,那有些用户他就翻这个坑了,他看到我的APP里面有100倍的余额,假举个例子,假如100块名额,他立马就下一个单。那下了这个单的时候,我们查是查付嘛,对吧,前面有多少钱,我们是可以允许他用,我可去支付,那支付了以后。特别的关系,这个写到数里面去,但是他没有同步到服库里去,所以他完成返回到了那个我的新的时,看到100题还在那所,他们发现这些问题都剩下。一个。影响非常大,所以说普通也值问题的生的影响,但是对于电商这种涉及到比较大的这个交流的行为呢,那的情况是非常大的,那我们现在的做法是怎么样的,就是把所有涉及到核心业务的。有可能我们是把它不过。
60:01
第二个呢,就是风控的问题,第三个风控的问题。OPPO这个问题其实也很恶心,我们原来的时候是有,就是在双11的时候也会经常做一些营销活动,像手机十频块钱那种小吸引流量,所以说非常多一些双核的话来实际的刷你的一些接口,整个关的特标很高,那么我们现在的做法呢,也是呃,通过提取一个光伏后的这个,这个从新的就是从去年开呃前的开始,新天的话不一定是。用户只要在平台和你产生了交易,那么这个合同就是一样的,所以说你售后成本进行私自跟用户进行退款,必须就会得到同意,那我们只要在支中,所以说我们这边自自研的一个系统,天网系统,可以通过前端来看的,这个有稳定的系统降度也是一个。相当于是用户画像这个工作,你给给他这份表达的机会。那第四第四个就是空间。
61:00
有时间关系啊,我这你讲就是中间站这块是也非常多,比如说我们举个例子,把用处高管中面它有一个,他有他有一个bug,就是官方是这么解释,当时我们一次做的就是他至否保证你至少赔复一次,但是他不保证赔付多次,所以说对于我们来说遇到的问题就是用户下来的订单可能着货越货。这四个问题啊。呃,怎么说呢,就是因为这个事情,所以我赖你的是少。印象非常深,所以我这里列出来的话,就是希望大家以后在做,就是在做高并发系统的时候能够注意到这一点。啊,第四最后一部分呢,就是我们对外部一些很,就第一个我们在做部什机,在做效率,就是我们做了化的事,然后我们的研发团队400多块人,其实这块成本也是能到让我们做了很多技术工中台业务组员通过pass我们是呃上,就是我们希望能够效率的这个能够有定的提升,能够减少公司的盈利成本,那么第二块呢,就是技术。
62:12
就是我们现在在去年的时候一直在腾讯在两个都在试在看,就一的话,我们三先到那个分量上面,我这样的话也可以提升我们的营销服务,然后快速上线。第三部分呢,就是对产对抗,就是我们现在做的推产对抗都是需要去人工的,是我们希望未来能够借助腾讯云能够在业务方面,在这个营销里面,让你能够帮我们这够更多的一些精准的营销,来保证我们的公司和一些一些钱能够价值非常化。最后一部分呢,就是数据驱动,其这一个呢,就是我们是目前业务跟导他们的,我们是希望通过我们这个业务技术能够反推我够产品的形态的模仿。好的,我的分享就到结束,那么我在这里打个小广告啊,就是在做的是一个认识服务商或者说是有人力推荐的话,可以加上,接下来呢,有请腾讯云新星海实验室副总监李志高及腾讯云服务器运营中心专家工程师牛奔共同带来腾讯云可靠性提升背后的技术应用的主题分享。掌声有请大家好,呃,我是来自腾讯云的刘丹啊,今天我和我的同事李芳呢同给大家带来的这样提示腾讯云可靠性提升背后词应用。
63:45
那么我们今天呢,会围绕着服务器三大件中的硬盘和内存来和大家展开讨论,腾讯云做了哪些优秀实践来保障我们云上的这个开发环境。那么首先啊,由我来给大家介绍一下在产业互联网时代的腾讯云的硬盘实现。
64:06
嗯,大家都知道我们当前社会是一个新社会,尤其是随着云技术主题,让我们来的一个数据报价出来,根据IDC的预测,截止2025年我们将会有175CB的数据库产生,而这些数据呢,根据数据的温度被划,呃硬盘的这个数据温度呢,被划分为高性能硬盘和大容量硬盘,而这些数据呢,绝大部分会不会存储在大容硬盘,所以呢,你这个机械硬盘SP呃单能量的个持续的增长是GD的一个GD盘未来发展的必然趋势。从让我们回顾一下金盘发展历程,从早期的流量基地体发展至现在的实习,那么机械硬盘以前的存储技术呢中也从啊最早的水平技术发展至现在的科技技术,那么未来所要的能量辅子技术本及版本的这样的一个存储呢?硬盘容量呢?呃,会推进至20TB上空间。
65:06
然而随着个基础的发展和单盘标点不断提升的同时呢,与之带来的问题是硬盘故障之后数据恢复时长的一个明显的增长,从最早的分钟级到现在天气数据时长啊,随着这个硬盘流量进一步推升至20TB这空间,那么我们这个数据恢复时常的会高达周期以上,而长时间的数据恢复和故障数据时长势必会降低我们云上的这个开发环性,那对我们这个业务呢,带来非常大的可能性挑战。所以运营对我们硬盘运营体系也做了一个相应的调整和变革,主要体现在三个方面,燃料体量、运营监控及技术创新。在燃料质量方面呢,我们建立了基于业务模式的呃呃定制化筛产标准和呃联合测试机制,极大的降低了我们行材料的交率。那么在运营接入方面呢,我们呃和供应商一起开发的最符合腾讯云运营要求的硬盘,提升一些框架啊,用AI和大大数据的方法对硬盘进行一个风险评估和故障预测。
66:14
那么在技术创新方面呢,呃,可投入多年来在海洋服务器我们的经验,我们目前已经有550万的服务器啊,多年来对些服务器的应用经验啊,我们建立一套从通信监控到故障处理,一套端到端的自有支产品体系,并发表了多天专利,那么所有的这些呢,都会将我们的硬盘的运营从自动化向智能化推进,最终呢,对我们的个云上的用户提供一个软件的服务环境。具体来讲,在白料起量方面,呃,我们将更多的精力放在了硬盘的底层参数和业务模型的建模上面啊,找出最符合腾讯一定要求的硬盘质量三个分布,并落地了这个定制化筛选标准,那经过半年的这样的一个建隔和实践,那最终将你可的物量率降低到原来的五分之,取得这种显著的成效。举个例子啊,我们在分析某一种一务模型的时候,我们看到它的这个业务特点呢,是在硬盘业务局集中的区域,非常频繁的密集的写入小块的实际数据,那么通过对硬盘内部含片信号质量的分析,我们发现,呃,新这种业务模式产品下的这个信号质量没有图遍差其他的业务模型,原因就是因为这种业务模型呢,它会造成更多的磁道间的频较干扰,那么进一步呢,我们对硬盘内部的这个参数呢,进行一个统计分布分析发现一些参数的一些。
67:45
也偏移,那么呃,为此呢,我们就呃制定了基于该业务模式下载的一些运动训的标准。那么在运营监控方面呢?呃,我们自己的一个智能监控体系,能够对硬盘进行一个两级的数据采集,呃,并通过后台对采集上的数据进行AI加分析,实时的量函数正在运行硬盘的健康程度,最后通过我们的智能化数据应用平台对硬盘的进行一些可视化分析以及物量预测,那么这套系统给到我们一个比较直观的收益,可以通过一个数字来体现。
68:24
80%,呃,这这是代表什么含义呢?就比方说我们在高速公上开车啊,我们发动机如果一旦发生故障的话,就我们是个熄火放锚,这样没有给足够的时间进行一些安全停车,呃对我们的单全造成非常大的一个威胁,那如果我们汽车站的呢,有一些相应的监控系统,那么在80%的情况下,我们就可以对这个发动机故障进行一个天运行,那么我们就有足够的时间来规避测流和安全停车,那么可安全择到三个方障,其实硬盘也是一样,通过刚才讲的这套系统呢,每一板块硬盘的故障呢,有80块硬盘故障,我们可以做到一个提前预警,这样我们业务部门就有足够的时间来对数据进行备份,业务迁移,那么我们的数据统径和业务网,业务员去进得到相应的保障。
69:16
而这些呢,就得益于我们有一套非常强大的硬盘的监康度评估以及故障预测算法,那么呃我们通过对呃硬盘的一次参数进行一个多维度的分析,包括时间序列分析,统计分分析,以及结合了我们对业务播客的一个预测,就是出腾讯自有的一套多维度硬盘交录估信息,同时我们和供应商一起呃联合开发基于业务场景的不量预测算法,通过呃机器学习算法呢,对硬盘内部数百本的提升参数进行一个aip建模,那么两种算法强相结合,最终使我们的硬盘的呃故障提前时间率提升至80%以上。
70:00
那么刚才所说的这些呢,都是我们过往的硬盘事件的一个缩影,其实甲方未来我们还有很多的问题和困难,需要和我们的合作伙伴一起去攻克,呃,比方说一盘的NTF,那么这个的话也是在业界大家都面临的通用的问题,嗯,根据我们的统计,在一级的数据中心里,硬盘的增加比例降低10%,那么我们就可以节省数千万的成本。呃,另外一方面呢,我们是希望能够建立一整套IO电路的,呃,延时的跟踪体系,那么通过硬盘底层记录的IO延系数据集和我们业务上层的IO数据集进行相结合,真正的实现软硬结合,软硬联动,那么针对这种IO类的云端条件的,可以做到快速的定位,可以快速的解决,我们还希望和我们的合作伙伴一起对这种新电新技术进行一些相性的评估,比如刚才所说到的这个海尔技础这的能量辅助技术拍,那么我们希望能够处理这种啊海尔基础呢,通过我们呃呃100多万台服务器的一个运营经验,包括我们刚才所说的这个强大的金平台呢,对它特有的,还有它的这个新的新新特性呢,进行提前的线网风险评估。
71:24
那当然,我们现在目前的社会呢,已经是一个ABC社会,Aik呢,广告的是我们当今社会的三个关键词,腾讯云作为一家语音服务的提供商,我们希望能够利用AI和BK上所带来的科技统力,和我们的合作伙伴一起供课时间,共创一个开放透明的云生范体系,最终呢,是让我们要用这种最多的服务质量提供给我们云上的用户和开发者。那么以上就是我今天的分享,下面呢,呃,由我的同事以及刚给大家带来的是练习方的一个时间,谢谢大家,大家下午好,我是来自腾讯云新下实验室,知道下个左右的分享如何提高为什不高性,降低大径率,从而保证我语言的一个高普高性跟高定性。
72:21
OK,我们先来看一个真实的一个案例,这是我们去年发生的一个我们一款就火的一个游戏,三线以后突然出现大规模的掉线啊,经过我们运维部门的一个紧急定位,然后发现是我们负责接入管理的一台服务器单机导致的时候我们都会呃录单卫视以后业务会我们先来看一下这个游戏的一个文件架构啊,们可就看得出来啊,它其实分成三层,一个是接入层,一个是逻辑层,在这个数据层,从这里其实可以看出它是一个分区分幅的一个架构,然后我是一个县城管理,一个片区的一个接入管理,所以这事实上造成了它是一个单位,其实没有轮灾的事情啊。
73:05
所以我们大服妻大期以后,影响一大片的一个一些的登录,其实会影响游戏的口碑,然后还会影响到收入,其实这压力是很大的。OK,我,我不知道大家有多少人知道我的服务器是长什么样子的,如果知道,请驾驶。这什么OK,我们看一下就是左下图,这呢是我们腾讯云自研的一款4T的服务器啊,大家可能都知道的就是我们云服务器,比如说C端云服务器,NP云服务器,还有这个云服务器等等,都是基于我们的物理服务器之上的啊,所以我们云服务器提供的高可靠性,其实是基于我们物理服务器的一个高可靠性,对我们的一个软件优化的一个结果。而我们当前腾讯线网超过140万的服务起在一起,然后每天也会发生各种各样的宕机,然后这个单季也会导致一些后果,很可能导致什么数啊,甚至会要求多出一些赔产啊。
74:12
所以持续的降低我们服务器的单机率,然后保证我们的云业务不中段,这是我们的一个很重要的一个课题,然后我们也是非常重视去梳理了所有的当时的产品,看看有没有关键因素,呃,经过我们的统计发现大约有60%是内存故障导致啊,所以从中国来说,这个汽车信息化就是我们解决这个大机率的部分,我可能要使内存入少。OK,刚才讲的是内存是我的关键因素,所以我们觉得是从两方面来做。一方面是我们。这样一内存的一个故障率啊,另外一方就是我们因为内存故障可能还是个法避免的,因为我们比如说我们的工应的问题,它是的就说纳入其中完全是浸泡,他就可能对子的颗粒会越来越薄,所以它的那就是没办法避免,另外一台有些因此干扰的一些东西,它是很法避免,所以我们像一个主故障导致的半事也是同样重要的,所以这两个应该是相互相成来做的,然如何去做把路程故障率降低了,我们主要是从两个维度,第一个维度的话就是说我们是规避,第二个维度就是纠正,规B的话,我们第一点知道我们在生产导护我们腾讯。
75:33
呃,深度优化的一个压测算法,这个时候我们就会去筛三来说比较差的内存出来,第二点就是我们是跟内存厂家去深度合作,包括smart的批量啊等等,第三点的话就是我们会呃关于一些节能分析,能提高他一个可靠性,第四点的话就是我们去使人的数据加的然避免数据出现人续的离合,因为这样会导致无码就上失。竞争的话,我们第一点问题使SDC的算了,然后我们就去优选城市的这种颗粒,真的好处就是说我们能够去。
76:06
清算所有的单单科技的多余的错误啊。第二点的话就是说我们会去使用一般时到还是化的功能,这个就是能够是避免呃,当一的错误,最后累计成多余的错误,导致我们的没有传播的这个错误啊,第三点就是我们第第第一次传输的时候,我们就去做一个次偶校验,如果失败的话,我们就去做一个生传啊,就保证它一个高可可性啊,以上七点的话,其实能够大幅提升我们的内存的一个可靠性,降低它的一个呃故障率,但事实上。还是没把这个再去解决,就是说零故障是不能的,所以我们相对左是分析怎么去呃降低对从故障导致的氮期。OK,我们先在介绍一下mca的它的我们先看右边这张图啊,呃,这里面的话我们可以看到扩跟安括,其实这是我们CPU内部的一个微加构,就是我们CPU发起一个无请求的时候啊,它一个数据执行路径就是我的环色箭头所示。
77:11
简单说就是说我们CPU的执行单位发起一个读请求,然后这个时候内存控制器去数据,去取数据的时候,他会发现内存有一个level,然后这个时候呢,他会去记录一个,记录成一个U3A的错误,然后他会把这个数据。打上一个关注的一个标记,然后继续把这个请求册。然后等到我们C星的和真正消遇到这个对塔波值的时候啊,他会去产生一个NCE,然后O收到这个NCE以后,他们就呃发出一个四个大,然就杀掉这个受污染的一个进程。然后我们再看右边这张图,二个最底层就是我们的CT1减C,然后硬件之上的就是我们的,然后再时上的就是我们的O的科,科目之上的就是我们可以看到有很多VR,嗯,我们的物理系的话,最多可以当前啊,可以支持200多个V,可能大家了解起来比较熟悉的话,就是比如说我们云服务器四的子机,一个V可能代表一个子机,所以我大是最多一台是可支持200多个子机。
78:18
在我们MC看记录没有死人的情况下,如果我们是呃,CQ发起漏的请求啊,这个时候的话,它就触发一个干扰,进入一个故障信息以后,它们就触发一个AC的S中断以后,它会判断其实是一个非L,然后它会导致整个系统判比是我们两个都个全部大表,那我们使了这个MC它的系统以后呢,它第一个的话也会触发一的很大大记录,这个故障以后,它的触发一个SOS,然后OS记录一个root以后,它不会去做太多的动作。等到我们的这个数据真正对可消费的时候,他还会去产生一个MCE的OS,然后OS这个中段以后,他会去判断这个错误类型,如果是几万可恢过的,他杀掉收入的的进值,所以我们如果是200多个子集的话,他可能只能杀掉一个子集和其他用户正常运行,这个影响就非常非常小。
79:19
我们刚才两个台子只是一种情况,还有一种情况就是说我们发起这个请求的是我们的一个预习的一个引擎,这个情况下其实如果我们使在MC端发的,可以不做任何功能,因为它的数据并不会真正被消费。如果我们。关闭MC他的话,其实它这个预期引擎发起了这个启业导致的后,也会导致我们200多个子集全部大掉很多业务,对对。OK,这一页主就是讲的OS,是在MC record做的一些事情,这里我们简单介绍一下OS的关键东西,他第一步的话,呃,他会去获署错误信息,然后去做清楚定语后面的处理,然后他会去判断这个L类型,如果是SRR,就是我们会看错误的话,他会去呃,做微尘隔离,然后去杀掉的生污染的性质,如果不是的话,他去做克勒派里。
80:18
OK,就是我们在实现MC的开过程中,其实上是碰到了很多问题才会很多,可因为一开始的话也是按照英特尔的GA去做,能够去使用快S部分,然后去使用。多干试剂,然后我们还会去做O相关的一些事频,然后完了以后发现根本没法用,成功率非常低,几乎为零,所以后面我们是碰到了很多坑,然后我们就是通过BI和后O一起然去解决的,然后在解决问题的过程中,然后我们也做了很多优化,然后进一步的提升我们NC的成功率,然后这个过程大概持续了一年半到两年左右,最后我们达到一个很好的一个效果。
81:01
OK,这就是我们最最终的一个成本,第一点的话就是我们直接能够降低40%以上,微定程度上导致的淡机,第二个就是我们是业界第一个大规模部署NC他的技术的原产家,第三呢,就是我们,呃,成功实践以后,我们跟英特一起。向全球输出一个技术管理书,同时我们也是把这个MCN他的呃这个技术呃,推动成了一个标准的一个拉特性,因为之前的话是属于advance,就属于这种。四厅八厅32题啊呃。他们才能去做一些DEMO的使用,其实并没有真正的用起来。然后我们做了这个功能线以后,现在大概是比这个方面的人还不起了。OK,就是这下一就是我们正在进行当中的一些事情,一个是我们是做ID做的I。
82:02
这本能够进一步提升我们MC他的技术的一个成功率,因为之前我们统计了一下,做了两年的统计,大概是成功率占65%,所以通过这个其是我们能做到进一步的提升。第二点的话就是我们会去使得这个,呃PC的epc这一块的话呢,我们能够大幅降低PC1设备导致的一个系统单击第三点的话,就是我们使用这个基于地址的镜像啊,因为我们MC的套其实不包括内核在里面,如果是内核区分它开里,这个时候我们就可以把内核放到我们的这个镜像的区域,呃,这个我们为什么不去只能传统的镜像呢?是因为呃传统的它会呃浪费50%的位存,这个成本都非常高的,那我们这个方案灵活度很高,比如说为何只要4G,我就只要去做4G的镜像,这个对全国的影响是不可住院。啊,最后一点的话,就是说我们也是跟开发者一起去合作,就是说能不能在我们的上层的软件Java上去做一些优化,比如说我们刚才举了一个一个例子,就是游戏。
83:09
那你进入管理的时候,你是不是去做一些人在的设计,而不是去做一些关联的情况,这块的话我觉得还是有很大的一些。我一下谢谢大家,接下来有请虎牙直播底层技术计算和中间建的技术负责人张波带来虎牙直播为网关的云原生眼镜之路的主题分享,掌声有请。呃,大家好,我是来自于虎牙直播技术保障部的张波,今天我给大家带来的主题是虎牙外部网关的音野生引进之路。呃,分享主要分为三部分,第一部分是为什么需要网关,第二部分的话是呃有眼镜衍生之路的介绍,第三部分的话是未来与展望。首先那个网关的话,它主要的三个作用的话就是统一接入,还有网络加速,另外的话就是一些通用功能的offload,比如说像认证、IP、白名单、日志监控啊等一些通用的一些功能的一些呃注入以及审计的一些功能。
84:32
呃,这里的话就是虎牙的一个那个。基础网络接入的一个一个概况,大致的话我们会就是流量通过DN1DNS去呃进行解析,然后经过四层,然后再到我们的那个七层资产均衡,最后到我们的后端的业务。呃统一接入的话,主要是呃四个作用,呃动静分离,HTS加入加速,以及那个入口流量的限流,呃智能流量的分发策略,以及逻辑分流和容灾,呃网络加速部分的话,就是说,比如说像那个呃虎牙是一个那个全球性的业务,比如说像一些呃你的业务的话,又不可能全球真正的做到全球部存,所以在那个比如说像呃我们的业务只部署在亚太的情况下,如果说像北美要呃那个去访问的时候,就需要去做那个网络加速,呃所以在我们的那个基层负载均衡之上的话,我们还建立了那个网络加速层,去加速那个用户,用用户到我们后端的一个网络,主要的技术的话,就是通过那个呃就是多C以及方。
85:54
面呃去做到呃,更快的那个流量的这个会员。
86:00
呃,这里的话就是那个一些通用功能的介绍,就是呃,作为一个网关的话,他除了那个他他可以去把一些业务通用的一些功能在上面去实现,比如说一些流量控制啊,要用要用手机啊服务治理呃,压缩pds管理的呃,一些通用功能在上面去实现。对,这里的话就是我们整个呃,整个系统的那个呃,功能的一些那个分布啊,主要分为五个模块,对呃这里我就不细讲。第二部分的话,就是我们的云衍生演进之路。虎牙的话实际上是从YY发展过来的,然后呃,从一七年开始,我们虎牙就开始去做那个我们网关的自建,然后主要是经过了四个阶段,第一个阶段的话就是呃呃从WiFi剥离,第二个阶段的话就是我们在一八年的时候进行了那个红观云的建设,对,然后一九年的话,我们主要是做了一个云眼生的眼镜两千零,呃2000年的话,两二零年的话,我们做了那个全球化的改造,呃到了现在的话,我们已经做了那个网关的2.0。
87:27
呃,这里的话就是我们呃第一版的一个网络的架构,呃,它实际架构其实是非常简单的啊,如果大家了解那个汽车负载均衡的话,实际上呃呃上面有一个那个四层接入,下面的话就是一些NDS,然后我们第一版的那个呃流量接入,实际上简单来一点,它其实就实现了一个配置的自动化更新,然后呃主要的技术的话是也用YY之前的一些技术,就是那个我们的配置管理是基于SN的,然后的配置配置更新是基于脚本定义的下发,呃。
88:07
因为当时我们呃虎牙是从那个YY清理下来的,所以为了呃一版的话,主要是要去适配业务的那个架构,然后那个快速的实现那个业务的迁移,然后呃后面的话就是我们呃那个虎牙,因为那个开始做那个混合云的改造,就是我们接入多家云,然后那个啊呃腾讯云也是我们的一个主要的云厂商之一,然后呃为什么要去接入那个云厂商,主要考虑的是四点,一个是那个DDOS的防护能力,呃在我们自建机房的情况下的话,我们的因为我们的机房的出口的带宽比较有限,然后比如说我们的那个接入,接入层如果被了受到攻击的话,实际上很容易把我们的带宽打死,导致我们整个业务都不可用,同时的话,就也没有一些那个可迁移的能力,然后呃,所以这里是一个呃,巨大的一个风险点,然后我们。
89:07
呃,后面的话就是把我们的那个流量接入,主要通过那个那个公有云去做接入,然后我们后端的话,就是我们后端的机房就不断不对外发入,另外一个点的话就是说我们自建机房的那个出口,呃也是那个物理物理性的监测,然后我们的那个接入点的扩容的速度的话就是会比较慢,呃第三点的话就是我们技术测的一些问题,就是之前用SN管理的个方式很容易导致那个呃配置的不一致,以及配置更新比较慢,呃我们整个眼镜的思路的话就是第一点的话,就最重要的话就是接入多云啊,然后我们的配置管理的话,就改成那个用数据库作为统一管理,然后我们自研的一个那个去做配置更新的一个agent,部署在我们的那个N,呃,对吧,呃,亮点的话就是说这套技术的话,就解决了我们的配置。
90:07
快速更新,然后我们做到那个接入点的状态,以及接入点的分级的扩容,呃,这个的话是在我们的,在我们自建的情况下很难做到,对这呃也利用了的公有云的这个特点。呃,接下来的话就是后面的话我们就预算了,就是我们整个那个计算都切切断了K8S,然后我们核心要去解决的几个问题,就是说在K呃游戏应用发布的时候的一个质量抖动的问题,第二点的话就是呃应用的自动扩收容与流量接入的那个呃联动,然后第三点的话就是保持那个K8S跟那个物理机后端的那个兼容器。啊,然后这里的话,我们就引入那个拉S,对,可以看到的话,就是我们的那个后端的那个微服务跟那个K8S的一些注册信息都会同步到那个拉S,然后再通过我们一个自研那个拉agent的去更新那个就是流量接入的一些配置信息,对然后实现我们就实现了那个后端跟那个呃容器,就是不论是物理机还是那个还是于容器的,然后都可以实现兼容,如果大家用过那个KS的话就是知道,就是说呃KS的原生的那个English,它实际上只能针对KS内部的流量的,但是我们呃应用在做的容器化迁移的时时候的话,是会有容器和非容器的流量,对然后我们这个方案的话是可以去兼容,呃,就是实现了那个K8S跟那个非K8S的一个兼容,同时的话,在这个版本里面,我们把我们的那个计算资源实现了。
91:57
呃,100%的有计化改造,那这样的话就是我们在流量接入这一侧,就是我们的计算资源的话,可以去做到那个呃,自动的扩。
92:09
呃,实现的亮点的话就是说,呃,这个技术的话是实现的配置的表级生效,然后以及接入点的状态以及分,就是我们计算资源的分工,集团性能力。呃。就是这里的话就是我们最新的一个解决方案,对可以看到的话,就是这个方案的话就是呃主要核心解决的几个问题,就是说跨员网络网络质量差的问题,以及跨员专线不可靠,呃以及说我们之前的方案的话是需要去,呃我们在每次更新配置的时候是需要去re漏的,然后呃以及reload的时候可能会导致流量接入的呃呃负载均衡的不均衡,对呃第第五点的话就是我们之前的架构的话,接入点过多,然后导致业务去呃选择接入点的时候是会比较复杂,然后我们也对我们的产品做了一些优化和改进。第六点的话就是呃负载均衡功能的迭代速度比较慢,嗯,因为在在之前的版本的话,我们的那个功能迭代的,主要的话是去通过那个NS的Mo的。
93:26
开发这这块的话就是NDS本身是C语言的,然后我们本身做C语言的开发的这个人员比较少,所以说导致说其实我们没有办法去很多很多功能很很难去做,那个我们的迭代客户比较慢一点。呃,在这个版本的话,我们的引进思路话,就是说网络加速层的话,就是我们我们为了解决解决那个全球的那个全球加速的一个问题的话,我们引入了那个网络加速层,诶对,可以看到的话,就是在呃七层负载进程之上的话,我们接了呃做了一个那个网络加速层的一个一个一个东西,对这个的话实际上就是说呃首先网络加速层的话是可以实现呃就简单来说,我们的业务的话,可能部署呃主要是部署在亚太跟那个呃华南,对,然后我们的后,我们的用户的话可能在那个。
94:30
各个区域都有,比如说北美,南美,亚太,中欧,华中这些区域都会有,然后呃。然后我们通过那个我我的网网络网络加速点跟那个我们的那个业务所在点的话,通过那个专线打通,然后实现的实现呃,网络加速。对,然后呃。同时的话,就是我们还引入的那个API six a six的话是现在比较流行的一个那个,呃,API网关的一个解决方案,对它的一个特点的话,就是可以实现这个。
95:12
全。全状态的一个全全部全全部数据更新的一个零的一个东西,同时的话,它也可以有嗯丰富的扩展功能,然后呃,这样的话就是可以去节省我们很多插件的开发,同时这个社区的话也是会比较呃现在比较活跃,对。呃,整套技术的一个亮点的话就是呃,我们做到了一个的话,就是我们的那个网络加速的产品的话,是得比那个同类的云产品的延迟是低15%左右的,另外的话就是在我们对对开发的话,我们可以去做到就用后端无区管关心那个接入点的选择啊,然后另外的话就是配置,我们做到那个更新的时候不需要呃那个接入点的road。
96:09
然后呃,还有的话就是模块化的更新,呃,带来的一个对于我们开发效率的一个提升。第三部分的话,就是我对那个就是我们流量接入的一个未来的一个展望,实际上在整个业界来说,流量接入的话,现在有两个趋势,一个的话就是非法关,另另外一个是那个ma,对呃实际上我自己对那个这两个技术的一个一个预判的话,就是说呃,其实两个东西都有那个优异,但实际上我更加倾向于说呃后面的那个技术的发展曲线的话,可能是微把关,为什么这样说呢?就是S时间,如果大家知道的话,实际上它就是一个呃把把流量接入的话,就把微微服务这里的话搜缩到一个S面,那么这个S怎么去管理,怎么去运维和怎么去呃,比如说它的容量的问题,实际上。
97:09
是很难解决的,怎么说呢,就比如说我的我的后端可能是一个很大的服务,也可能很小的服务,我后端的流量都经过一个亿的去去剖水的时候,那这个agent的性能是不会有问题,或者说这个呃,就是你比如说你你你你给他设那个多一点的资源,那有可能导致你的agent的呃大量的来浪费,如果你的那个agent的资源又少。有可能导致说你这个的那个过载,对同时这个agent的那个更新和比如说怎么做迭代也会是一个比较大的问题,实际上他是把一些呃,我我我我自己觉得啊,就是他他把一些那个。呃,他的架架构设计是实际上是比较完美的,但是他。没有考虑运维测的就是日常运维的一些问题,对呃,实际上微微网关它是另外一个解解决思路,实际上它是把网关做小,对就是我们之前的网关可能是统一的接入,对吧,然后呃,可能统一接入的话,就有一个问题的话,就是刚接入点挂掉以后,可能整个服务都会挂掉,这是他他的一个弊端,对那其实微网关那个引进思路的话,就是把那个。
98:29
把网关做小,就是甚至我可以去做到一个服务一个网关,比如说一个一个微服一个网关,对啊,甚至一个一个节点的一个网关,它都是可以去做的,对,他可以实现说网关的弹性,对所以呃。同时的话,它是呃。啊对行吧,我今天分享就到这里,谢谢,接下来有请腾讯云大数据流计算产品负责人郑灿斌带来腾讯云海量规模实时计算平台解密的主题分享,掌声有请我们看一下啊嗯,高时跟大家一起交流啊,我是正常第培训大数据有推产品啊,我今天给大家带来的这个分享的主主是腾讯的工程大规模实施有计算平台的经培训。
99:34
那今天的话会从这会从这五个后面展开介绍,那首先的话,这是一数据啊,那其实我们数据可以看到,那腾讯的欧际上都在处理海外规模的一个数据,那的客户呢,其实更铺的内外各种客户,包括像按流啊一量,还有这个微信数据等,那其实这些客户呢,在大数据早期的时候也会用这个化的这些它是计算和程度的走变的去,他们带更多数据,但是其在这个过程中我发现数这的价值呢,其实往往是随着时间的这个有势消失的,所以越来越多的人呢,其实做还是去啊实时分析,他们还在规模的数据呢,其实可挖掘数据的价值,就是做一些实车商业化决策,那所以业界呢,也逐渐涌现出这种大数据的一些实时计算框架,那一代的话呢,其实是stop啊S大数据计算框架。
100:34
第二代的话呢,就出现了skin,那在人们长期的实践中,其实会发现,那这两个大神经的方面呢,会有一些设计上的一些缺陷,会有一些问题,那后来的话呢,是随着方法是不定的,呃,这个可以说明第三代,呃,第三代的这个实施它是机动方面的出现的,那咱们其实发现这个新的这个框架呢,其实他有非常多出色的表现,所以呢,越来越多的客户,那包括腾讯公司是我们选择了这个第三。
101:06
第三代的这个实时计算引擎个,那么它主要有哪一些优势呢?那其实通向出来核心是有四个方面,第一的话呢,就是它提供了非常应用了编程接构,以及非常丰富的这种流的语义,那这怎么说呢?那第代some so这个这项类型呢,它其实提供了非常低阶的编程接口,那低阶的编程接口就意味着什么呢?因为他去做业务开发的时候,他需要去办办理,还比如说他去做一个窗口预算,做一个流里面的这个数据开放据的处理啊,或者是状态的管理等等,而并的话,它一方面是提供了非常低阶的音制接口,另一方面呢,它也提供了这种高阶的,比如说K音PI,还有这种生命式的这种生活的开发资源,那所以的话呢,啊同时呢,其实它不仅提供这个高级的API,其实它还对不同风度的产物中算子,比如说分布。
102:06
计算,或者是说数据的外去处理,那么它都封装了这些算子,然后每个应用持续调用,那这样的话开发效率也就非常的高,那其次的话呢,是父母给他提供了非常有效的状态锻用,那什么是状态?其实很多的计算,其实它是有状态的计算,那有状态的计算就意味着程序下一个输出,它会取决当前的输入,以及当前程序一个状态,那动呢,其实这个框架的对状态的支持是非常有限的,可以说几乎是没有的,那么用户在做这个有状态计算,比如说窗口计算,它的计算,那这个时候他需要自己去管理保存这些状态,那通上这个状态的保存的成在放到一些外部的存机制,比如说数据库啊,或者是媒体情况的配置,但这里就会涉及到一些远程的访问,那视频就会带来性能的下降,那首先有多用户在这个时候需要去做一些数据。
103:06
就开始去提高整个程序的一个性能,而SPA这个这个系统方呢,它它也提供这个状态管理,但是它的状态管理是有很多问题,那一个的话是由于他的设计机制呢,其实这里面会涉及一些远程的状态管理或者性能的损耗,其次的话呢,他这个状态呢,其实在做程序的升级这一块,其实会有很多新东性的问题,那最后看NK,那NK呢,他出生的时候,其实他就会状态管理这块做非常好的支持,他所有的状态管理,可以通过本地的单据引擎进行一个一个谱写,那一方面他自己封装的这种巷子,比如说窗口,那这些巷子的话,这个状态的话,其实他自己框架这问题,解决状态读取的一个问题,其次的话呢,他对有用户有这种资要去一做的这种产品,而其实会暴露一些,然选API可用,直接去简单去使使用就好。
104:05
那第三的话,其实像根本面,其实它提供了非非常好的投作领域,叫一些对化,那一些对化意味着说非动看起是每毛流进来的数据呢,它速有的效果一定是流血性,就触过一次,那不会少算,也不会多算,而这一个语义呢,通常是基于状态的管理它的一个实现的完善度的,那像STEM的这个。但实时状态实现不完上,所以他就这么一定的,这是不好,那为什呢,他其实从一开始就实现的一个分布式里面非常精准,一个冲分布的一个分布式快算法,那它的定期呢,就是整个分的程序呢,进行拍照,当这个程序出现任何的问题的时候呢,可以立马做一个状态的回复,然后从最后一次快照开始的状态以及数据的内容开始,从持序开始数据。
105:00
那这问题的话就是更的它有非常出色的性能,那这第一方面人面定的,它是一个要事件驱动的一个判断的一个流程上引擎,那它不会像SPA的这种的这种P调度的这种非常大的这种调度开销的,那其次的话呢,它在网络,还有在这个数据图上都非常做了非常多的优化,那比如说在网络里面,它已经进入了这种A压的机制,那避免了说当数据在审讯中有积压的时候,数据能性能的下降,那最后一点的话呢,就是它有这个非常优秀的一个本地状态管理一些知识,所以他必须要去延程保存状态,所以它性能非常的好。那虽然说它的性能呢非常好,但是呢,用户去上线个一的任务的时候呢,通常需要经过开发、测试、部署,用维这样细的阶段,那么首先大用户呢,需要在本D啊在个ID,然后去接并的这一写代码,那写完代码之后我去做编译,那编译完了之后做本测试,测试完了之后呢,他还要去部署啊,比如可能他会需要就是哪些机器在上面搭一些分布存储,都录式调度或录制其他分些服务,再到一有定的程序员的调度存储,但它这个程序运行起来之后呢,它需要去做监控,那包括指标的采集啊,到底性能的建设,知识的采集等等这样的一些事情,那在每一个阶段呢,其实他需要不同根据不同环学性能去打交道,所以它整个的开发效率呢,其实是非常低的。
106:38
看为了那为了去持续提高用户整个应对中的开发的效率,去做一些持续的发布和持续的提升,那腾讯云发数据产品中心在2018年下半年的时候呢,腾讯科化云端的一站式全通往科视化实施的对象开发平台。那么这个平台的话呢,首先呢,是及开发、测试、部署运为一体的同时呢,它打变了周,打通了这种周边的像添加管理,权限管理,日制指标告警等等这一些服务,提供了一整套完整的这种在线分本做一全生物周期管理的工具平台。
107:22
那O面针对不同的开发人员,不同的应用产品后,提供了不同的这种应用过分的方式,那第一种的话呢,就是面对具有这个数据分析链的这个开发里面呢,那我们就提供S的开发公式,那对议的circle的话呢,其实上是基于全统S,但是呢,会加上一些理论的一些概念,比如说留了一些窗口,或者是留览这种静态表跟流表的关联啊这样的一些内容进去,那有数据分析开发背景的同学可以快速去上手做一用的开发,但是我们也知道说S的这种开发模式呢,它的表达能力往往是比较局限的啊,有一些比如说像这种分据的数据的处理,或者是说一些非常杂的应务逻辑的处理呢,很多时候可能还是需要通过分离的底层这种API来去做一些大门开发啊,那这种模式的话呢,可以用户开发,下发之后呢,可以放到我们高数据平台上的运行。
108:24
那这是一个呃,用户在快速的的共享去开发上线一个S任务的一个example,本来这里是应该是一个课题啊,最后一个衍示的过程啊,嗯,那那我其实呃简单的讲一下也行吧,嗯,那客布的话其实在。在老工程呢,去新建一个circle的作业,然后呢到了一个ID,搜一个ID的一个编辑器,然后在编辑器里面呢,可以去直接写circle口,那circle口的这个分成两个部分,第一部分的话呢,就是首先是定义流表啊,因为流表它底层的介质呢,可以是这种结构化的啊,甚序或是非结构化,或者是无结构的,比如说像这种呃,Cos上的数据,非数据上的数据,或者是可cos卡啊这一的数据,那它定义好了引导之后再去写pml,那PM的话呢,可以分成比较经典的几类,那第一类的话呢,就是做一些简单的数据状发,那其次的话呢,是做一些静态表跟流表的关联,还有一种的话是做一些流表这种关联,多个流表之间的一些关联,那还有一种就是做这种套,或者是双户计算。
109:37
然后呢,在写完circle口之后呢,可以直接在欧控制台去做一销检查,来检测这个S,这个S是不是合法,那么当营要检查做完了之后呢,可以在这面上去快速的去做一个呃业务逻辑的验证,让这个S它的这个输出是不是不可预期的,那这种这种在线调试呢,可以制定1DF的这种产品是非常可用的,那当这个S口开完之后呢,可以直接在建面端进行一个发布啊发布完之后呢,就会直接跑到生产环境上去,那当这一个,当这个程序在这个O的后台运行起来之后呢,那O呢会去收集这个程序关键的这种指标,然后给客户还有运营,运营运维的同学呢,去提供一个细化的一个呃,精细化的一个运营的支持,那这些指标的话呢,其实微项规的呢,提供非常多的这种框架的指标以及。
110:37
业务业务的一些指标,那么我们主要做的三个,第一的话就是我们对些指标进行一个抽象更装,那第二的话呢,就是我们会对这些指标进行一个持续优化,那第三的话就是会补充一些非常关键的一些指标,那最终给客户把握的是整个判断最关键的这个核心的指标。那其次的话呢,是在整个在整个作业的运行过程中啊,其实用户也可以在欧cos来去快速的做一些线上做的一些诊断,那因为其实整个英为任务呢,在后台运行的时候,它是一个分布式有关的,但是一个master s结构,所以它会有非常多的进程,那这些进程呢,它在不断的产生日志,当这个作业它出现异常的时候呢,经常在这个日识里面可以看到这个异常,所以后什会把这些知识呢,实时的采集,然后再这个欧透展示出来,同时呢,欧也会进这个资志呢,去做一些异常的这个实时告警,同时来提供这种快速诊断的功能,让用户呢,可以进行一键快速诊断线上的一个问题。
111:44
那接下来的话呢,就是当业务,当这个的分的任务呢,在数平台上运行的时候,那他会遇到一个痛点,那就是很多例度,它的一个特征呢,是复杂,它是有一个波动的,那可能它有一些呢,是有个很明显的这种波波峰波的这种负载状态,那对于这一种,那对于这种呃,这种特征的这种这种的时候呢,其实需要解下合,第一的话,就是在业务高峰的时候呢,这个数据的计算,它的原值能够得到保证啊,这样去输出,第二的话呢,就是在业务低用的时候呢,这个资源的利用率得到提升,而前面有提到说link,它很多时候它是在这样的计算的,那么它就不像这种状态的可以很容易的这动伸出这个资源,所以这都是整个平台呢,其实也提供了这样的一个能力,就是说会去做一些业务的监控,然后基于一些规则,比如说基于CPU或者内存权列。
112:45
对等其他一些规则,然后去自动弹性的去当业务去做这何一调用,那去保证刚才提到的两个问题,反而是呢,为了提高这个应用呢,在现在运行的一个稳定性呢,其实我们整个品台全部啊,不管是管控的还是整个自动框架全部是容器化的部署,那目前业界的话,其实大部分的大数据的计算框架,不管是创造就是S,那基本上呢,都是撰写在R这个经营的管理调度框架上面的,那这个框架有什么问题呢?它核心的两点,那第一点的话呢,就是它存在一个稳定性的问题,因为在样本面同一台机器上不同的进程,它其实是共享性能,这个机算机能那不同的进程其实它会存在,存在CPUCPU内存是场这些进能一些增程,那像。
113:45
他们都已经相互影响到这个稳定性,那第二的话呢,就是不同的业务呢,其实他对他的资源的这个消耗是不一样的,比如说一些简要的实时数据,恐后的这种实时任务呢,它其实进来它只需要0.2 0.3或零某个CP,而一些计算力集型呢,可需要三个CP,那在样里面呢,去做这样的一些资源的一个细细致的一些划分呢,其实是不好做的,那而在客关系里面呢,其他可以经很好解决这问的问题,那所以这是我们会去上关的原因。
114:21
那接下来的话呢,就是我们就展开介绍第三部分,那就是one的功能改进,那欧是为了去保证整个平台的一个稳定运题嘛,那其实我对功能内可能会做一大量的这种改进,然后提高他的这种可靠性的可能性,那当然我们这些改进其实也会大量的去贡献到这个看社区,那我们主要的工作是在三个部门,第一个的话就是一些稳定性的优化,那稳定性的优化呢,包括一些云营性的一器化层件的改造,还有一些无感一个改造,那其次的话呢,其实流流这个领域,它的生口其实很多时候是在快速的发展的啊,后期的会有些新的锻炼出来,那所以我们其实也是参与了条业里面去,然后做了很多生活一些功能的一个完善,或者些改进,那第三的话呢,其实不会说出性能的提升,那因为其实在在第五个的框架里面,其实它会有很多无理测流啊,不测流这些概念。
115:21
呃啊,那比如说他可能有一个叫持续的PB的计算,PP的计算,那来一套数据的话,它结果会实时输出,输出完了之后呢,再来的数据的时候,需要原样的这个策略,然后跟正文就输出这些回测略,那回撤的概率呢,它其实会产生很多的问题,那所我这里面说一些展P去整合一些规划的一些事情,来提升他的性能,那这一块的话呢,是我分现到两个点,那第一点的话就是我们其实在去年出的时候呢,推去了啊这个运这引申的一个语音生的一个融创系框,那整个的话呢,就是其实就是对这个部框架进行一个种性化的改造,那么当这里面做了很多的事情,但是核心是两点,第一点的话呢,就是我们会在这个master这个服务里面,因为其实分跑起来时,它是一个master较高啊,中间这一块。
116:20
中间这块其实就是一个master,那我们在这个master面够去实现一个Q8S的一个资源的调度器,但这个调度器的话,它会可用KS索进行一个通信,然后呢,根据实时的一个作业的一些资源需求,他会更害的去申请这些失败的这些破呃运行失败的进程,同时呢,它会管理这些S整个这个生命周期,那第二的话呢,就是因为我们知道说S里面其实像po的,它其实会有很多的特性,包括像一些挂挂载,或者是配置,或者是新新铜性的标准,但是他的这个特性的生理方式呢,就基于这种样本这种描述方式,但是样本这种描述方式呢,其实很多话,配置它是有这种有这种层级的嵌套的,而在link里面呢,我们去这些特性的方是麻烦,因为配里面它的配置模式,它这个KG的配置模,它表达是非常有限的,那所以的话呢,其实我们也是算是呢,是对这呢,就是说在。
117:20
Link里面呢,我们研究开发性特性的时候,我们会基己这种一样的这种生命式的方法,那这样的话,我去彻底解决并可里面引究各种各样的开发特性的一个问题,这是我核心做的一个事情。那第二的话呢,就是在口功能这里就是我举一个例子,嗯,上面这里面的话呢,是一个三口做,S口做,然后做完之后呢,去做一个窗口聚合的能否,然后看到它底下翻译出的这个文件计划呢,是首先是个转上层,这上上层呢是做一个窗口的一个配合,那最最右边,呃最右边这里面呢,其实是他一个内度实现一个数据,那两张流表,它的数据有有到一个作用上面,它是首先进行个下等,那同的地的数据呢,会在同的节点上面去,那数据到这个节点转用的这个节点的时候呢,首先会存转到B的这个状态管理器里面,首先存起来,那升进来之后呢,他去看对方啊,对方的这个状态存序序是不是有待始数据,当他他有开始数据的时候呢,他最后把这个数据的关速下下游算子,那由下游这个算子的数做窗口切分,那就说我们这个窗口是30秒,那切割,切割完了之后,它会这个数据。
118:36
去做一个窗口的,对,但它这个窗口的这个时间到了之后呢,它会触到它的这个结供的输出,同时会把下来这个window算里面算的屏清掉,但是我会发现一个问题上的算是清理掉。对,在这里会有个问题,就是会造成这个数据的状态的累积,那状态的累积呢,就会很多的影响,一般呢会带来性的问题,第一端面会带来稳定性的问题,那时以我们对到时候我们对这个对流里面的这个U化啊,就做了一些优化后的优化是什之后呢,基本上是这样,首先呢,这两条流进来的数据呢,我们会先进行一个交口切入,在确定完窗口之后呢,我们在一个窗口里直接去做综合,做聚合,当这个窗口它计算完成了之后,它会把重合聚合的这些状态全部清掉。
119:32
那这样的话就不会造成数据的以及状态的膨断,当然这个不仅这个思的目仅适用于这个窗口的状用聚合,那他们是一个上的交互差的这计算。那最后的话呢,就是我介绍阿里的部分,那这是一个呃,国内游领的游戏厂商在这个投云的一个使用场景,那首先呢,这些游戏的数据或者一些广告的数据,那这数据的话,其实会发到这个消除队,还有发到这个数据库,然后呢,O的时候对接这两个数据源,要把数据搜集过来做一些计算,那其中有一种计算呢,就是跟我表space的表,做一个精态的一个关理,那这个结果计算完了之后,输入各种各样的这个下游可靠什是ES等等,那么其实这里面主要是讲了个点啊,第一个点的话呢,就是数据啊,从数据库这里去实时定更数据。
120:34
那过去的话,呃,过去一般的内务是这样的,就是说首先应用会自己去布局或者过去的编,然后呢,再去实时监控这个,嗯,实时并S里面的这个并,然后把这个数据的推动卡卡的相对控件卡卡下以后会再接一个实时的一个计算任去实施相费卡数据做计算,但现在还是提供一种新的选择,那就是说。因为他不需要自己去做整么,可就这样对他来说,就我们有更多的维护成本,我们直接把A嵌到诉你了,那A在这启动的时候可以直接去呃手先选量,那S是启示会自动转到这边两个应用图里啊这是第一个,第二的话呢,就是写click Co,那因为其实O底底下用的是B,但并NK会有很多会跳流,会有删除更新的这个事件,但是呢,现在最耗时这种现在非常火,但是但是他他其实他实现的话多有问题,包括现在他对这个更新删除,那这些这些的机器都非常不完善,或者是资都没有,那所O呢,目前会把这些事件呢,都转成非pass新设的,然后由后台这个关税的这种机制呢,去完成系统的合并,然后最终这个实现跟新方式的个目的。
121:55
那其次的话呢,其实我们在实验的过程呢,也会发现说这个数据呢,写到黑house里面,其实它会有会有一些写的一些瓶颈,并端写的一些瓶颈,特别是当通过用作式表这种通式写的时候,那是要数的时候,会通过另外种文字的知识,就通过写可以画出的本地表方式提高整体这个写的数能。
122:17
那接下来的话呢,就是现在比较火的牛批给的数啊,参股系统,分析系统啊,那其实大数据的这个价格呢,从过去的时相当架构横板架构呢,其实它有个特点,就是说实时路径上这两方代嘛,两方框架,两个方案啊,然后呢,演进到了现在的一个开架构,那么架构里面其实呢,就是呃希望用呃一套框架统一流和P。那这里面是一个,呃,在看网去建设实数上的一个典型的应用啊,那中间的。呃,这个动画都放不出来了,出来那其实是这样的,就是。
123:04
呃,一开始的话就是他的架构里面,其实呃,ODSDWD还ODWS面其他的数据都是放在卡帕里面的啊,都放在卡不卡,但是呢,其实放在卡卡的话呢,有几个问题,第一的话就是卡卡的数据,其实它的保存周就是有时效性的,不能保存太久,那这个就会极大去限制整个系统一个数据回数的一个能力。第二的话呢,就是卡卡里面的数据的存储呢,它是一个顺据存储的,那么数据存储呢,就导致它不能够直接下载一些O的分析系统,然后去呃利用O的一些呃分析的一些优化上品,比如说过滤下分,那么还有的话呢,就是它卡的多知识一个非常重要的一个流影的一比,叫啊色啊色的这种概念。那所以的话呢,其实现在有有新的数据库,数据库的技术,那就是嗯,现在有I有也要分开来,那所以现在呢,其实其实上S它其实就是嫁接在这个计算这个数据之间的一个表格上,那实际的数据呢,其实还是存到cos到对应存储或者是S里面去。
124:20
那所以现在的一个新的尝试啊,不管是内部腾讯内部的还是外部的客户呢,那他会用去替换原来的卡卡,然后比如这里做一个P的一个输求上面,但有sgo的这种方法,它有几个明显的优势,一就是它的数据因为是存储在非常存储或者SPS,那所以它的这个数据回溯能力是相对是非常强的,第二的话呢,就是S,它支持S的语因,支持P和流的读写啊。也支持a cid,嗯,所以这就是新的一个实时数据库的一个分析系统。
125:02
那最后一个部分的话呢,就是我简单介绍一下未来的一个规划,那这里面需对第一的话呢,就是产品的规划,那个过去的话呢,就是在离线平台里面呢,其实有这个云数据,还数据选择管理,那么对于到实时计算平台里面,其实我们同样的需求。啊,然后同时的话呢,除了这种pass平台,其实我们现在整个产品呢,也叫做sa去求,为什么呢?因为其实pass平台呢,需然说提供前验S,但相对来说它还是有一定的门槛,那我现在是想要做一些呃S化的一些service性的一个呃实行的工具啊,去做标准化去提高来降低整个的一个门槛,那第二方面呢,就去持续做之间的优化,那包括呃这是各多的一些生活算法啊,包括在容错和性能上啊,做更多的一些特性。现在有样分小的师,接下来有请腾讯云边缘计算高级产品经理朱小燕带来腾讯云边缘计算助理行业应用的主题分享,掌声有请各位爱与写带分享的嘉宾,老师们,各位领导,大家下午好,嗯,我给大家介绍一下,我是来自于腾讯电辑上这边的产品架构师,然后是我的名字叫朱祥,这个名字呢比较有,所以呢我取一名啊,这个名字我就不念出来啊,大家后续有业积上的需求的话,可以帮我,然后我今天分享一个主题,是啊,就是我们腾讯云便于计算,如何助力我们的各行各业。
126:50
然后主要是分四个四个环节来介绍,一个是我们腾讯编计算这一块的一些布局,还有是不前等啊,不是我们要做边缘计算,然后第二个是我们的两两款产品形态,一个是我们的公有云的一个ECN的产品形态,这个是在相对说在中心云的一个边上再打一个云,那叫叫有边缘,它的边缘云也可以,那就是说这里面会包含了一些就是虚器或容器的,还一些就是基于S这种啊一些资源,然后第二个是我们的一个BCPBCP的话是我们在啊更靠近用户端的一个发边缘就达到一个,那这个呢是一个开箱机入的一个pass平台,这个是,嗯,那待会会给大家逐步的一一些破点,那这最后一个是我们在一些行业里面的一些应用。
127:44
啊,这个大家可以看一下第一张图就是说,嗯,我们现在上品其实就是说哎,我们突上哪个手机,或者是我们一设会他怎么去引到我们的云中心,对吧,那我们接下来的时候,我们这边就是像这,因为这个在搬到通信之间有其实有很多很多就是上播了之后会有有一些问题出来,比如说我们的耗时,比如说现在的有啊,就是很多的大量的设备频到中讯里,还有大量的数据会传到中讯里,或者视频几几百个摄像头不可能同时传到容心里,那这个时候哪怕你有这样一个钱,但是基本上它带到去身面,所以说我们必须要把这个中间做了一更多的啊分布式,虽然周期我们现在是在北上广深这个地方,那后我们再啊,就把它分解的更下层,然后我们首先是下传到我们的边缘,然后再上传到我们的边缘截实,这个是啊,我们现在做的电缘的P边的边缘之上是基于光跟中心之间这个范范围都属。
128:45
有一下错,然后我们看一下第二个图,就是为什么我们要做这个就是边缘计算,第一个是对一些低延时的一些场景啊,比如说就是啊远程医疗,或者是我们现在遇到的这种云游,那这些都是会,我们都是逼中要去解决这个这个问题,第二个是高带宽呢,比如现在的一个4K8K8K的这种高新的视频,那我们啊,如果都都是中性比的话,中性里论就是大成本是比较高的,还有一些安全的啊隐私,但这个可能就是嗯,现在的话,因为大家对人类接受程度其实还是蛮高的,但还是有一些我们去破客的时候遇到啊,我这个东西我就不能够上瘾,因为这是他有些是职业的生命线,怕你这个,哪怕你在上面做了一些加密啊,这还是比较大,所以说我们就做了,我们那个在啊班上去做了一些就是计算,就现场计算,然还有。
129:45
在本地交付,像这种的话,比如说我们的这个就是自动驾驶啊,还有就是啊,就是像一些智慧的一些那个工厂,还有就是还有一些我们的园区,它需要一些就是你不可能说挂网就就不能够做电梯了,实际上我们还是要运行的,然后等你联网了之后,它还能够再把数据传到我们的啊边缘或者是我们的中间,就这它是自主的一些能力,就是在这这几个啊因素下,我们必须要现在在做的一个就是边缘上啊,这是我们用了一个比较容易理解的一个图来看,就是说我们现在是关到中心云,然后呢,我们现在。
130:29
就是我们现在做的中间这个我们先第一个讲一下。这一趴这一趴,甚至说我们的是在云边上,云电里计算啊,现在我们上移都是通过我们的手机或者是设备连到我们的基站,基站到我们的肌肉网,肌肉网站到我们的核心网,最后到到零中心,那这个耗时我们看这里面是大概是50毫秒,而如如果我们要把这个号水降下来,我们现在的已经没办法只能做到,呃,因为光速它本来距离就是不远,所以说我们必须要就是把它的呃路径给他缩话,那这里面就是做的比较多的一个,就是说啊,移动这边或者运商这边做的比较多的就是从这来接入网,然后他就得到得到核心嘛,直接从这儿发,我走到上面去,呃到它的一个mec机旁,Mec机方就是说它是躲在这个靠近这个气站的这个位置的,那这里面它的耗数率比较低,还有比如说我们现在做的这个就在每一个,嗯,每一个省市啊,我们比如说全国31个省市,我们都在这里面线上。
131:34
到我们的一些地方就下沉了啊用户嗯离数据更进的一个地方,那这里面我们比如说我们现在是呃接近了几百个地,那就是说嗯,不不仅是省,我们还有一些市,只要这个市有需求,甚至是县以后可能家乡一个一个一个一个乡镇,我那可能会建一个地方,就这样这样来做的。然后我们这是我们的公云,然后另外一个我们的官兵与资产这一块,我们为了解决把这个耗时降到最低,最低那我们就离用户最近的地方又搞一搞,就是这个边缘网关,让他去就近去做一些计算,然后这个这个耗时就可以达到,基本上来说就是个线程计算。
132:22
嗯。啊,这个用这个图来跟大家再解释一遍,就是说我们中心云,然后现在可能在大家在我们的腾讯的官网上会看到有一些是叫ec,就是我们的ec,那它这里面是为什么有这么多东西呢?就是主要还是说中心移过来,然后有个e cec的话是一个,嗯,就是我们在呃市比较,就省比较大的或市比较大的地方去建里,那这个像我们的武汉长沙,然后还有福州的,这就是我们的一些ec,那CC的话,它现在的它的一个价值就是说我有专线,Ec跟ec之间会有接,Ec跟我们的中心是有专线去体接的,满足这种就是啊就是对那个就是比网络抖动啊,延时比较,就是比较在意的客户,他可能可能去上这个,这个他还有一个我们就是从农村包围城市,这就是我们农村的这条路线OC,我们全国就几百个OC,这些都是我们就。
133:24
等于25,然后我们再再下来这一部分就是M比C比C,就刚才我们看到那个T加的。然后我们现在跟就是运营商,我们有有做好几个这种Mac的一个地方,嗯,就是比如说我们的腾,腾讯的云海大厦那个里面就是我们这边的Mac的一个视点,你们可以去就一个盒子装起来,然后面就可以去体验这个ARVR,然后这里呢,就是我们的一个现场计算。然后接下来就讲我们的第一款产品啊,刚才是一个啊,第一块就是说我们这边的一个布局,还不是什么要做面计算,那第二就是我们的啊,怎么去做第一个,这个就是我们做的第一,第一个叫边缘计算机器,那这里面的啊,它的一个就是几大优势,一个就是说电势,那这个讲过了啊,还有一个就是说我们跟运营商这边组建的一个,因为我们这边啊,就是Mac,他我们是跟网络这边做了一个组件,就把这个组件引到我们的一个,嗯,一个机房,那这样的话用户直接上来经过,如果5G的用户,比如说,嗯,像现在比如做过那个有个客户,他用无人机去送送外卖,那这个时候他无人机必须走的是5G,而5G的话,他5G里面就是插了几张卡,那这几张卡他就会,嗯,一张我不行,走另外一张走走到五级,我一上来之后走um去做一个分流,直接到我们M4的一个地方。
134:57
那这个耗时就比较低,甚至低于12秒,然第二个是我们的一个高新态,嗯,我们的,因为我们现在是农村,包括城市的做房,然我们这里面就是有一些啊很多的大规模的这种就是o cocd,然后我们的这些网络啊,网络它的成本是啊是比较低一点的,因为北上广其实是从我们的腾云的官网上去看啊,北上广现在学是网络,它都是比大大概是40个。
135:27
一个B,但是我们这个边缘就上这个,你就去看的到我们这些这些ocd,它其实就就它的一半,就是从这个带宽的成个来看,这里面就就就比较低一点,还有一个就是我们另外一个是它是跟呃云中心是是云平使中的,相当于是同一个地方C呢。那这里面就是因为它其实都是基于呃,云操作系统历史类型这一套去虚拟化计算网络存储出来的。然后这个云件系统,它对于开发者或对客户来说比较好的就是我一套新啊一个应用,我的中心,我只要去适配上面去装起来,然后我到边缘这个地方是不需要改,直接就可以放起。
136:12
然这是我们的一个,嗯,比如ecm上分的一些人力矩证啊,我们可以看到我们提供的东西,其实啊在在计算上一方面,我们提供的标准性的些机器,还有的,然后还有一些GPUGPU的话我们可以,嗯,因为边缘嘛,可能有一些客户,他可能只需要部分的算力,那我们可以把GPU给你切割,你你不需要,如果你们要用两张GPU卡,那我们就给你七个啊一个角度比说1/10的GPU的算之一,那这个就集约了这边的一个一个成本,还一个大灰程,像我们在边缘这种就是有一些工厂,它就需要一个,要我们的一个整个机房都要,然后机房里面它需要一些大灰程的这种啊机器,那我们就按照他的需求,然后去啊去采购这个机器,比如说几个器人几个器的,就是那这个是刚才嗯,我们我们同学介绍的,就是这是我们的一个挑战。
137:07
然后下一步还有就是网络,呃网络的话就是这个跟中讯差不多,就是ABCIP,然后还有一些SD,我们边边边不通,边边跟我们的啊互通,然后边边边右边客户的啊机房就互通,还有一些就是比B的这种负载比例,还就是基于这个6V6的话,应该是今年应该是要大面积的去做差的,因为这个东西是要要求就是啊下一步是要要要要监管。然后还有上面的一些安全的一些能力,还有就是存储分控,还有这个就是刚才我讲的,可以有一个基于啊片做分流的,甚至是做了5G课保障业务的。然后这个是我们OC的一个,嗯,现在的话我们只做嗯,就是主要布局还是在做国内啊,然后我们现在是嗯很就是我们现在特别部署啊,像呃,很多省我们不局的机方都有七八个地方都有,然后这里面西藏目前还是在建设当中,因为这个地方的需求啊,一直反正就是前端反馈回来,这个地方没啥需求,所以没怎么推荐,就是比较比较慢意,嗯。
138:25
啊,然后还有呢,提一个点,就是说我们这里面啊,有个山东三东点山东机房,就是我们去用这个资源去比较法啊很多运营商他嗯,他的机房里面有就是嗯,就是天了一个三个运营商的,就说这个这个地方。就是就是很难很难,就是对客对对一些客户来说就很需要这个,我需要买一个机器上面就有三个,就有就在三个平台IP。嗯,下面就是刚才讲完了我们的这个产品,然后这个是嗯,我们的一个,呃,怎么去一些用户产品啊,这个就是我们在重庆供运云面做的啊,一个就是一个专区,就是我们根据客户的需要,我们把这个芝房团的做模式,它底底下。
139:15
底下我们是做了那个,就是提供了一些test s上嘛,然后这种模式呢,其实是一个专区,一个专区的,比如说现在啊其他其他地方的一些专区在看了什那我们提供了你们S,然后还有专用的一些机器,然后上面就是pass,就我们打包了云上相在说法,云上的一些pass能力从中心下行到我们的边缘,这目前来说的话,我们啊还是处于一个探索阶段,因为因为这个东西中心中心的产品中心要像我们是会的,所以这个我们只是按按需去跟这些产品去去去谈,然后在我们的边缘去部署这些业务,然后上面的话就是一些公益的一些软件,然后还有些他的一些小程序啊一些库,嗯,这就是我们那个啊个行业的一个品方,然后再看一下,嗯,从疫情疫情开始,去年疫情开始的时候,其实这年内很多需求就爆发了啊。
140:15
我们这里面主要还是那个网上网课这个事情,就是在线教育,那像今天周末其实很多小孩子在家在。在在在在上在上网课,那这里面他们会给我们的边缘很多的这种疾病,然后一个老师在北京,比如说像像哪个广程,就是学而思那边的,他一个老师推几几万个学生,所以说他需要择一个老就就把这个分推到我们的边缘,然后边缘再给到这些学生,那这个就是就减少他的一个活跃率。然后这个是我们的一个就是嗯发布出的一个,另外一个产GPU的统一网吧云游戏,然后就是一些数字公司会在上面来做他的负的阿凡达的一效果啊,继续讲第二个,然后第三个产品用的DCP啊,这是一个开是进入的一个pass平台啊,这个这个呢,它是基于游器的,所以说上面会有一些啊,就是小专理开发也应用是基于武器的,所以说你通过我们的这这个pass平台,直接它是个管控,就是直接有管道,然后把中线的能力直接向前面个边缘些。
141:30
啊,这是我们的一个啊,就是就是这边的一个一个一个一个价格。这一块是它的那个管控,然后这块是我机的一个编辑,就我可以把这个东西录入到你的手机上,然后你手机做一个一个网关,像盒子或者服务器网管这里,然后上面就会做一些啊做一些计算,然后上面是一些我们的技术容器容器来做的,然后做一些边缘资质啊,还有些几构网式会的,然上面就可以从中心下发一些函数就上或不如选AI模型这些就把你的手机就是你你想要什么模型对不对,以直接下发到你下下到你这个观测,嗯,这时候主要是一个一个pass台,然后提供了网告,然后上面会有一些一些运维些是是谁创谁下发了这个模型,谁操作这些这些你都有都有体现,然后这是我们的一个啊,就是因为我们在做边缘上和边上很多东西是需要啊,结合硬件条我的这说明这里面就资源的一个,就是我们的一个个求子源,那这个盒子呢,主要是基于块啊解器,然后里面会带。
142:39
根据客户的一个需要,然后盖一章或者两章,甚至不带都可以。然后这是我们的呃一个应用案例,这个就是一个一个数据的一个案例,运利用我们的一个pass平台,然后去用我们的这个这个设备,然后去跟他的一些啊传感器或者是他的一些摄像头去对接,然后去拿到这些数据之后,进行一个边缘的一个嗯数据清息,或者是一个呃就是一个呃就是模型的一些规定,推定完了之后,把这些要的一些数据传给我们的中心,或者传给客户的一个,传到客户的一个机房。
143:19
那这样做的导处就是说边缘就可以就会把一些就是啊不需要的一些视频给剥离掉。然后这是一个一个就是另外一个场景啊,这个也是我们在,比如说我们现在在重庆一个重庆公益啊公益的基地,那这个的话应该本月会做一个一个检查,我们这边的腾均,你这边一个大专家的考整去说集的去去现场检查,那这里面就是啊,它我们在工业里面做的一些解决方案,就是包括它会用到我们的一个一个边缘的这个盒子网关,然后去堆积到它的去对接到那些工厂去,机厂去,然后就是我先里没的大卡去嘛,然后有没有去进到他的一个境地,这里面都会告警,然后把这些数据传到我们的一个微信里面去做个绩大下展,然后这里面这里大家看一下,这里面还有一个联动一个绩效统计,那这个大家可以联想到什么,后续我们这个盒子啊,要是家在公司上摄像头,在那一天工作了多少多少时间间上了几次厕所,你这里面都有,然后连连多少你的记下。
144:30
哎,后续就比较可怕,这个就是好,我这边的分享大概就到这,好,谢谢大家,腾讯的小程序电商,然后到硬盘的分析,然后到后面的游戏方面的服务,云服务,然后这些的话收获还是蛮多的,因为我之前也听了像华为啊,像阿里的一些云云介绍,他们都是从ICT,像一些电商,或者是社区营销,或者是一些智能零售方面的话,偏向于那那些方面的云,但是腾讯的话反而更偏向于自己的业务,所以说收获蛮多的,腾讯云的那个基础,各个模块的一些那个基础经验啊,我觉得收获挺大的,客户比较传统,也关注那种,就是混火原料这一块,就是本地部署这一块,我是比较关注的,关注于硬盘方面的,像HTD这方面的分析,因为腾讯是做游戏方面还是比较出色的,然后我也是比较喜欢玩游戏的,混合云这一块,因为我也有涉及到这一块云的容器,容器不署。
145:30
啊,就是本地和那个公务云私有云上面的一个接的问题,因为我们的客户都是那种大型的集团性客户,他所以对这块的还是私有化的部署还是比较着重,我觉得会让开发者更加了解腾讯在做的事情,然后未来的规划以及遇到的一些难点,然后邀请广大开发者一起参与进来,然后壮大腾讯的业务,觉得多接触一些这种会议,就是也可以多接触一些同行的一些那个,呃,朋友可以多多交流一下。
我来说两句