00:04
欢迎大家来到腾讯云Taco HUB技术巡回长沙站的活动现场,我是主持人静雯,非常荣幸能够和现场的各位来宾朋友们共同参与到本次活动,共同来进行学习和交流。近些年文化湘军品牌集群稳步崛起,长沙正在引领数字媒体产业创新发展。在长沙文化产业高速发展的背后,是众多创新技术的支撑。本次活动将聚焦数字媒体领域的云端技术创新和实践,来自长沙知名数字媒体芒果TV、湖南荣念科技等企业的大咖以及腾讯云多位专家将共同探讨数字媒体背后的创新技术。那么在进入正式演讲环节之前,在这边呢,温馨的提醒到大家三件事情,首先为了方便大家更好的交流和学习,我们建立了现场活动的微信群,来大家可以看一下我们的大屏幕啊。第一个就是我们现场活动的微信群,那么我们不管是在活动中还有活动后有任何的问题,都可以在我们群里面来进行学习和交流,所以呢,现在如果说大家还没有。
01:20
进群呢,可以拿出手机扫描屏幕上的第一个二维码来进入到我们的现场群聊中来,和我们众多的大咖一起来进行交流和学习,好,这是我们第一点,那接下来第二点就是我们本次活动设置了小数字,大有可为的小游戏,好那么接下来呢,我们再给大家一点点的时间啊,来扫描二维码来进入群聊,同时呢,在这边我给大家一点点温馨的小提示啊本次呢,小游戏有三个问题,那么这三个问题我们前两个问题在腾讯云官网可以轻松的找到,然后第三个问题大家可以仔细看我们的宣传片,那么可能在宣传片里面啊,他这一个问题是一闪而过的,所以呢,大家可以仔细的来看,那接下来好啊,我们导播老师已经给。
02:13
大家把我们三个问题啊显示在屏幕上面呢,那么大家可以看一下前两个问题呢,在腾讯的腾讯云的官网可以找到,然后我们第三个问题在宣传片里面可以找到,那么同时要提醒到的是,请大家用签到时候拿到的印有数字数字的贴纸和我们现场的其他小伙伴凑成问题的正确答案,同时完成调研问卷,获得专属代码。并且截图保存您的专属代码,在活动结束之后呢,凭借您的专属代码和您的小伙伴啊,可以一起去到游戏区域来领取奖品,好要提醒到的是啊,我们一定是在活动结束之后才可以领取好接下来第三点是我们每一位嘉宾在演讲之后呢,会有五分钟的交流和答疑的环节,所以呢,希望大家可以抓住这个非常难得的机会,和我们的专家大咖来进行多多的沟通,多多的交流。还有一点好消息啊,要告诉现场朋友的是,如果说您的提问足够精彩的话呢,我们还可以从讲师那边任选一个数字,任选一个贴纸啊,来增加您领奖的机会,所以大家一定要抓住在我们每一位讲师之后的五分钟的提问环节,尽情的来进行交流和学习,好,接下来正式进入到本次活动。
03:44
的主题分享环节,首先让我们有请到湖南荣念科技有限公司CEO,同时也是腾讯云TVP专家李颖物老师给我们带来主题分享,为大家深度解读基于区块链和分布式存储的视频存证系统。接下来让我们现场朋友们用热烈的掌声有请到李颖物老师,有请。
04:10
啊,各位专家,各位开发者朋友,呃,下午好。呃,非常高兴了,腾讯云给这个机会进来这个这个分享。我曾经也是一个开发者啊,我是。呃,2000年到的这个华为,在华为工作了17年,我就没有换过别的单位,然后一七年以后,作为高层次人才,已经已经回长沙创业啊,创办了这个荣力科技。那现在呢,主要从事这个区块链与呃分支存储的这个研究与实践啊,呃现在是这个湖南省呃区块链协会的副会长啊,也是长沙市分布式存储技术运营行业协会的会长,呃,这个分布式存储协会呢,是全国呃第一个成立的这个行业协会啊,是个技术应用的行业协会啊,也是上个月才成立的啊,同时呢,也是腾讯云的这个TP啊,就是呃腾讯云最具价价值的专家,呃,那我们今天分享的这个题目呢,是基于区块链分布式存储的视频存真系统。
05:19
啊或从四个方面来讲,一个是一个就是讲一下我为什么呃要讲这个事情的需求的来源是什么,第二个就讲一下我们通过区块链实现了这个存证和溯源啊,它的必要性和技术方案,第三个是讲一下分布式存储保障数据安全,安全的这个必要性和它的方案,第四个是把区块链与分支存储的一个结合来解决这么一个问题。首先我讲三个项目的需求,就是我们在实际里面做的就是呃,我我老家是安化的啊,我们知道那个湖南安化生产这个黑茶,那黑茶的话,它是讲究这个产地的,比如说呃,哪个山茶茶啊确实比较好是吧,那比山体的茶,比山体的茶确实就好,那么怎么证明这些品质,以及这个茶叶怎么建立这个信任关系,怎么打通茶园茶厂和这个消费者整个的这个数据链啊,还有怎么解决这个劣质茶啊,或者问题查它的责任在哪里啊,以及解决这个销售困难的问题,融资困难的问题啊,所以我们就做了这么一个平台,就是呃,基于基于这个区块链的茶产业平台。
06:29
那么从茶余的种植、排管采、采收、运输、加工啊,仓储移植到整个的消费者的这个环节,我们都住在区块链上面了,那其中就涉及到一个问题,就是我们在茶园和工厂的话,就是因视频一直在二一条24小时的录制这个视频的这个这个呃,流媒体的这个记录,那么这个记录的话,我们知道区块链的话,它只只能保存有限的信息啊,它不能够把视频整个放到区块链上面去,那这个效率太低了是吧,本来区块链呃是个去真心化的管理系统,它要达到共识的话,这个效率是比较低的,那么这些视频的信号,那我们原先的话都是采用真心化存储的方案,那么真心化存储的方案的话,就会有一些性能的问题,就是也有可能这个这个数据会会改变是吧,也可能会丢失啊呃,所以就存在这么一个需求,就怎么样使得我们的这个视解决我们视频存储的问题。
07:28
这是我们平台运营的一个情况,比如说我们在这个茶园的话,有这样的这个设备,每天24小时采集的数据,包括这个降水的量,包括这个茶园的这个采收情况啊,还有包括这个呃,温度啊,包括土壤的这个成分,那里面还买了一个探测器啊,没买了个探测器检测这个各种各样的参数,可能24个参数啊,那个这是视频,就是你在手机上可以调这个视频,看这个整个茶阅的状况,什么时候开始采查也是知道的,那这些视频的话都需要保存,那这个数据量是非常的大的,然后呢,还有这个。
08:04
呃,他的这个原材料的基地情况,生产的过程啊,然后每一块茶都会生成一个区块链的证书啊,通过这个证书的话,能够查到这个,呃,它的这个整个的一个来龙去脉,整个的这个,呃,茶叶的这个生产的这个过程。那么还有一个项目就是我们跟省移动合作的,那么我们这省一的有很多的这个,呃,工程建设的这个项目,那么我们把整个放在区块链上面,就是包括这个。招标啊,建设合同,包括设计图纸,包括工程进度,施工啊,包括这个原材料审批,包括接底的记录,包括质量这构全部上到这个区块链上面来,当然前面那个区块链和现在区都是联盟链啊,都不是,呃不是用的工链,是的联盟链,那么在其中有一个环节就是这个,呃,施工现场和和这个监理的这些记录,他有的是采用的视频的记录啊,就是说呃,因这个监梗他到现场去把这个视频拍下来,本来本地这个施工现场也有很多这个摄像头记录了这个工程的这个实施的情况,这样的话就免得这个出现这个工程质量问题,可以进行回溯是吧,也可以发现这个跟成现场的一些不符合施工要求的一些东西是吧,那么这样的一些视频也需要长期的保存。
09:27
是吧,因为他因为现场可能没有发现问题,但四号可能比如说这个跟程有问题的话,就回头再去找这些视频,还要找到这个里面发现,呃,问题的根源在哪里啊,那么也产生了这样的一个需求,呃,第三个项目呢,我这里没提,就是呃,我们做了一个去哪钓啊,你可以在APP上可以搜索,就去哪钓鱼这么一个平台,那么去哪钓鱼的这个平台。就是由个人会拍摄很多这样的一些视频上传啊,就是短视频,那么他这个做平台的这个运营方,他就不希望这个这些好的视频被别人盗盗过去,因为存存在这个同行的竞争是吧,比如说我我们这里拍的好的视频啊,被别人网站或平台盗过去以后是吧,那么他就白拍了嘛,那发动能去拍这个事情是吧,那么就他就想把这个所有的视频啊,能够呃存存正就是能够保证下来,而且是有这个凭据的是吧,就是别人倒把的话,能够进行举证啊,这样的话,我们也是放在这个区块链上面是吧,好,那么就有这样的一需求,就是我们在平时里面有这样的需求,不光是要保证我们的视频是吧,而且还要安全的保证我们的视频,而且还把这些视频作为一个可信任的数据是吧,不可更改,不可删除,不可不可这个呃去篡改它是吧,那么这样的话就是通过区块链啊和分制存储来解决这个问题。
10:52
啊,这是这个工程接理平台的一个设计啊,这个就这个就不细看了,这是一个背景。好,那么再讲一下这个区块链,那么区块链的话,我们知道这两年非常的火,就是因为这个一九年啊,10月24号,习近平主席在这样自治区18字集体学习的时候,就特别的强调把区块链作为核心技术自主创新的突破口,加快推进区块链技术和产业的创新发展,所以说区块链在我们湖南的话,发展也很快啊,我们成立,我们首先成立了长沙市区块链技术运营行业协会啊,我是区块链,呃,我是长沙区长沙市呃区块链协会的秘书长,然后我们去年又成立了这个湖南省区块链协会啊,然后我们。
11:39
呃,湖南省出台了。的区块链未来五年的发展规划啊,这是在更新厅和这个网信办啊,都有这样的文件出台啊,当然我们协会参与了这个文件的制定,然后长沙市也出台了未来三年的区块链化的计划,那么区块链这样一个技术,其实也是基于这个云端的一个技术是吧,我们知道腾讯里面一个T8平台是吧,那就是一个区块链的应开发的平台啊腾讯呃,那个华为也这样的区块链平台啊,蚂蚁呃,这个呃,阿里蚂里链是吧,这区块链平台,那么区块链平台。
12:12
呃,包括区块运营开发,在这两年两年的话发展的非常的快。那么我们为什么要采用这个区块去属源来,它有这样一好处啊,就是区块链是真正真正的去真心化的是吧,没有一个是真心啊,当然联盟链的是多真心化是吧,如果跟链的话就是没有任何真心了是吧,那就是一个任何人都可以参与的这样一个攻链,那么区块链的话是多方主体背,呃多方主体的性能背书,就是天然的这个性能关系啊,因为区块链的话,区块它只能不断的呃叠加上去是吧,它里面的数据也不能改,也不能删是吧,区块不断的延伸往下面延伸啊,这样的话就天然的这个信任关系,当然前面我们说到这个查园也好,跟成接力也好,还有这个视频,呃,这个纯正也好,还有这样的问题,就是我们要保证数据上链是正确的是吧,我们知道只要数据上到区块链上也好。
13:08
那是通过技术保障的,你绝对是改不了的啊,这个可以完全的这个相信是吧,但是怎么样保证我们的数据在上面的过程中间也是真实可靠的,那就不能够通过人去做是吧,很多通过机器去术,那么通过物联物联网的技术,人工智能的技术等等技术来实现数据的。准准确的上列啊,比如说我们在这个茶园里面,这些设备它是智能采集的,每个设备独一的一个ID号是吧,你不能去倒倒改这个设备啊,然后比如说跟厂的这个摄像头,他也是有唯一的这个ID号的是吧,他自动拍摄,自动去去去上传啊,你比如说人去改这些东西啊,就是保证数据的上面的过程中间也是真实可靠的,这样的话就是解决了这个性能的问题,那所有的数据都是可信的,当然还要说到数据能够保存下来也是安全可信的,还有一个是说可以实效实现这个有效的追责,就是那么只要这些数据是可信的,那么我就可以去有有什么问题的话可以去回溯是吧,因为区块链它区块一个区块一个区块是连在一起的,那你就通过这个顺着往前去找,那就找到啊以前的数据啊,就能够啊发现前人的问题。
14:16
然后就是打破这个呃,数据的孤岛,那么区块链有两个很重要的,所以一个刚才说是建立信任关系啊,通过技术来建立信任关系,而不是说人与人,比如说我跟你做了很多年的生意,我信任你啊,这是人与人的信任,那么区块链的话是我和你都不认识对吧,但是我们能够相互信任,比如说比特币啊,到现在12年了,都不知道是谁发明的,主要是真本车,真本车也不知道是谁是吧,但是大家在这一个比特币在价值交换的时候,根本就不需要相互认识,完全可以啊。呃,相互的信任,进行价值的转移和交换是吧?呃还有一个作用就是协同的作用,那么区块链在哪些领域呢?区块链就是应用在需要很多方参与,而各方的这个协同效率比较低,或者性能成本比较高这样一个场景啊,为什么呢?因为区块链里面我们知道从以太房以后,就区块链2.0以后,它有自能合约啊,通过智能合约的话可以自动执行啊,只有触发条件的话可以自动执行,对吧?那么这样的话就是把一些我们协议上的东西,或者是呃规则的那些啊,就写到这个区块链上面啊,那么代码就是法律啊,那么就是可以自动执行,这样的话就保证了我们的协同的效率啊,比如说我们现在做的那个呃,一个系统就是呃,有一个平台,他跟各个渔场啊进行合作,那么能去了,在平台交费以后,在渔场可以进行消费去钓鱼,那么这个结算他就可以自动结算是吧,只要在那边老板啊,就是给他扫一个码以后,他确认已经消费完了以后,他就自动就是。
15:45
这个平台和这个渔场之间能够自动结算,就不需要每个月去对账啊,为什么?因为区块就是分布式的账本技术,那么你的账本和我的账本就是一个账本,那就还还要对账干嘛呢?是吧,是统一的一个副本而已嘛,那同样一个账本,所以这样的话就提高了这个协同的这个效率啊,提高了提效率。
16:06
第四个就是保护这个隐私。啊,这个这个可以理解啊,就是区块上面,呃,大家都是一个符号而已是吧,就是一个呃代码而已是吧,一个256位的哈希值啊,这样一个代码而已,那么完全可以实现这个匿名,而且它的这个数据的加密啊,也也有很多这个加密的这个手法,而且区壳里面还有很重要的一个技术叫零知识证明,但我不需要你知道你是什么东西,但是我能够证明啊,这是你啊签名的东西是你发出来的东西是吧,那么实现这个匿名。那么这是我们针对这个。茶产业平台做的一个区块链啊,做的一个区块链,呃呃,这个平台啊,这是底层的一些智能设备啊,包括一些记录啊,然后这个是真诚的这些数据工厂和这个。呃,数据采集啊,上面就是各个节点啊,就是。
17:00
呃,茶园的生产单位的消费的都作为一个节点加入这个区块里面来,那上面就是一些智能合约啊,智能合约的话,能够是实现这个智能的一些结算啊,包括银行也是作为一个节点啊,我们建行也是参与试点啊,进入一个节点,那么呃,比如说我因我的茶厂的茶作为这个抵押去贷款,那么有有约定,比如说你卖出去查啊,大概比如说呃,2/3的钱或者1/3的钱要提前还给这个银行是吧,那么都住在可以住在智能合约里面啊,可以自动的去去结结算,呃,当然上面还有所谓的平台,还有这个区块链的商城,就是卖茶的啊,这个茶证明就是他是呃区块链呃商业的茶啊,包括融资啊,包括当然如果出现问题,还可以进行增财的申请啊,包括区块的浏览器等等。那么我们建立这样一个前面的话就是用区块链解决实际的问题啊,就是我们说的俗称的这个链改啊,就是链改就是区块链来改造我们的这个实体经济,那么这个,那么刚才说到了这个里面的这个监控的这些数据,包括不光是文字数据是吧,还有图像数据,还有这个视频的数据是吧?那么我们区块链面上去上去的这个数据呢,它只是。
18:12
这些数据的一个特征数据啊。不好意思。那么我们怎么样保证这个数据的安全呢?我们就采用分布式存储的技术啊,我先讲一下这个分式存储的一个背景,那么在3G时代的话,我们所有的数据放在我们的自建服务器上面,或者IC机房托管的方式是吧,就一个真信机房,那么我们在4G时代的话,是放在这个云上面啊,我们腾讯云啊,华为云啊是吧,等等啊,一读一读的云啊,也就是云技术,云存储,那么进入5G时代,那么这样的,呃,真心化的存储的话,遇到一些问题,那么我未来的话可能是实现这种去真心化的存储,就是没有一个真心是吧,这是这是这是单一真心,这是多真心是吧,未来的存储可能是没有真心的话的这个存储啊,为什么这么说呢?
19:07
而且这个呃,存储的需求会越来越大,我们知道现在存储的需求大概是千亿级的这个规模,那么未来的话可能到规模,为什么呢?因为5G来了是吧,来了。啊,那么5G的这个,呃,来年以后一年产生数据,可能是一年30年的这个总的和啊,就是我们5G的话,我们知道刷这个视频非常的舒服,是非常爽啊,数据很快的能够出来,那这些数据都是存在我们的这个服务器上面的是吧,而且现在万物联啊,你家里的冰箱也可能上网了啊,你的车也上网了,你电脑当能更上网了是吧,你所有的这些呃,带在手上的玩表也上网了是吧,这些数据无时不刻的实时的产生数据,那么这些数据都需要存储是吧?那么这样的话,对数据就产生了巨大的这个需求,那么以前的话,精细化的存储出现一些问题啊,比如说这个阿里云也出现宕机的世界,韩国也出现一个这样的网络争断的这些问题,这个是不可避免的是吧,总会出现这样或那样的一些问题,他为什么会出现这些问题呢?就是如果我们都放在中信服务器上面,即使有准备的这个呃呃备份,那么如假设这个中信服务器出现故障,那整个整个就瘫痪了,是吧,或者一。
20:19
会出现故障,那这一片网络,这片机器也会出现故障是吧?然后如果是采用这样的分布式存储的话,那么我们的数据是放在很多服务呃服务器上面的,那么它下载的话是并行的下载,比如说我们的IPFS这样的一个分布式存储,那么就是把这个文件打成256开的这样小小文件分散在很多的服务器上面,那么它下载的话是并行的下载,即使有一大片服务器出现问题,只要有一台服务器正常,它也能够把这个全部的下下来,当然正常的服务器越多,它下载的速度就越快啊,但是并行下载的,那么当然也是也也不会这个出现这个影视被侵化的问题,也不会这个出现,这个很难出现这个黑客入侵的问题是吧,因为你入侵哪一台了是吧,那么多服务器在一起是吧,而且呢,数据都是碎片化的,能够加密的这样一些数据文件啊,你这个呃呃,盗取这些设备文件你也无法还原是吧,没有它的私钥啊,你也没办法还啊,那么未来的话这种。
21:18
呃,分布式存储的方式可能会补充替换或者取代部分取代这样真心化的存储的这个呃方式啊,这是未来的一个发展的趋势。那么我们现在要做的事情就是将这个数数据分布式存储在这个服务器上面,那么有三个方面。第一方面是通过这样一些协议啊,不光是IPFS,别的也可以啊,什么现在SW们出来,SW们也可以,我们现在基于SW们,基于迪弗尼,基于IPFS都做了这样的一些尝试,在测试系统还没正式的发布啊,基于IPFS可以作为这个视频内容的这个选址。我们知道以前的话,我们在互联网上找个东西是从是通过位置寻址是吧,就是说呃,比如说呃,一个IP地址是吧,获得一个域名来获得这个数据,那么现在的话,我们把这样一个数据文件或者视频文件。
22:12
把它生成一个256位的数字指纹啊,就是就像人一样的,你不是有个指纹嘛,是吧,那么现在我们就是无论你是视频也好,是图片也好,只要是这样的要保存的文件,我会做成一个整体,然后再生成一这个哈希运算生成一个数字指纹啊。当然如果为了这个解锁方便,可以生成这个哈希树啊,一层一层的生成这个哈希树啊,最好来形成一个整的一个哈希值啊,因为这个哈希值作为它的这个指纹,那么那么我们现在去找这个文件,不是通过这个呃位置去寻找,不是说找这个位置,不是找这机器啊,这个机器,比如说我这个文件以前是放在个机器上面,我就找这个机器,那现在不一样,现在文件是分散在很多机器上面是吧,你不是说找一台机器,而是找这个文件,那么找这个文件的话,就是通过数字指纹的方式啊,数指纹方式,比如说这里一个我们我们把这个内容的这个呃数字指纹叫cid,那么比如说这是256位的一个cid,那么这个这个CD就代表了这个文件。
23:12
就代表了这个文件啊,那么我们选址的话是通过HTTP,比如说访问这台服务器也可以,不不用HTTP协议啊,就直径IPFS协议,要这个浏览器支持啊,然后的话就是通过这样一个网关,然后去找这个文件,找这个256的这个这个呃,数字指纹的这个文件啊,那这样的话就能他他当然后面也有这个网关系统啊,通过这个去找到这个文件放在哪些服务器上面,然后怎么并行的下下来,然后再合成一个文件再给你啊。当然有的是公开的,有的是需要私钥才能打开啊,这样的话,我们就通过这样一些分布式存储的协议,实现基于内容的寻址啊,基于内容寻址。还有一个就是通过这个。呃,我们现有的一些公开,呃,开源的一些系统,比如说非Co的开源系统来实现了这个内容的,可呃,可证明和语数的存储啊,就是我这个文件存在这个上面,我要证明它是不是正确的存储了啊,我们叫做复制证明啊,就是你的文件有没有正确的被存储,还一个就是时刻证明,就是要保证。
24:15
比如说我我跟一个服务器签了一个协议,我要放呃呃一年的时间,那我们这一年时间系统会帮你负责每个每天去查一下这个文件还存不存在啊,当然这里面有惩罚机制是吧,如果你没有没有在的话,他会进行惩罚,当然我们也可以不用这个系统,我们可以就开为自己改一个系统是吧,就我们自己的这样的一个,呃,分布式存储的一个存储的一个系统啊,这都是可以的。那么这样的话,我们就把我们的视频的这个内容,就通过我们刚才说的这个呃这样一个分布式存储啊,比如说我们把这些内容啊,这个CID1CID2CD23啊,然后再生成一个哈希数啊,可生成个哈数,把这个呃跟啊就可以放在这个呃区块链这个这个里面啊,那么区块的话,当然还有很多信息啊,包括时间处,包括随通过随机数是吧,来生成一个。
25:11
呃,哈希值是吧,目标哈希值,那么这就是一个区块啊,前面版本号啊,这是区块头啊,上面是区块头,上面是内容啊,那么内容的话,你看我们没有保存这个整个视频文件,而是保存的这个它的这个cid是吧,就是它的这个256位的哈希值啊,那么前一个区块和好几个区块能够自动的连接在一起啊,连接在一起。那么我们就通过这样一个,呃。区块链与分布式的这个结合完美的解决了这个问题,就是使得我们的所有的视频的内容是不能够篡改的啊,是能够修呃不能够呃删除的啊,那么也能够保证我们的数据是被安全保存的,而且保存的地方啊,无论你多少服务器瘫痪了是吧。啊,都是非常健壮的啊,都是能够取到我们的这个视频的这个数据,这样的话,这是整体的一个结合,我们在现在我们这样的一个,呃,信息网,信息互联网上面啊,通过我们的区块链的核心技术,迭代的通信加密算法,共识算法,智能合约,灵资证明等等这些核心的技术来保证我们的内容的可靠性和可信任啊,然后通过我们的分布式存储啊,通过这个一些现有的开源的系统啊,通过我们的智能的调度,就是因为这么的服务器嘛,要通过智能调度啊,容易备份,弹性这个扩展等等这样一些技术来保证我们视频内容数据的安全性和可靠性啊,当然上面可以加这个通证经济模型。
26:35
也可以不加啊,如果是联盟店的话可以不加啊,如果是呃,需要通,通过共享网络啊,通过公网来做的话,你就必须用它的经济模型是吧,如果你不适应根网啊,你是应自己的联盟,自己组建一个联盟来做啊,那就不需要这个通这经济,那么上面的话就是包括城镇所别跟有云事有云等等一些基于区块链与分布式的应影啊,基于文应,那么其中我今天讲的这是其中非常小的一个方面,就是视频的啊存正啊与这个锁约啊,当然下一步也会做分发啊,这视频也可以进行分发,嗯。
27:10
呃,我的分享大概就是这些内容,因为也没有,因为时间关系,也没有详细的展开,因为所有的这些开源系统里面都有。这是现成的API可以调用的啊,只是把这些东西集成在一起啊,做你的应用的一个呃开发啊,如果大家有兴趣的话,也可以下面我们再交流啊,这是我们的这个电话号码,也是微信号啊呃,谢谢大家。谢谢,再一次感谢李武老师给我们带来的主题分享啊,好,那么李武老师也有请你暂时稍等一下啊,因为接下来呢,要进入到我们现场答疑的环节了,来我们现场朋友们,那么针对刚才我们李勇老师给大家分享的,我们如果说现场朋友有任何的问题啊,都可以在这个时候来进行举手提问,好,稍等一下啊,我把话筒给到您。
28:03
呃,请问李总,那个联盟链和供应链的区别和不同有哪些,麻烦您解释一下,谢谢,嗯,好的。呃,其实国外的话主要是发展工链,那我们国内呢,主要是它联盟链,它最主要的区别在哪里呢?那么联盟链的话,它是呃有准入机制的,它有一个CI,呃CI征,呃CI征信啊,就是有一个资格认证的一个征信,他有准入机制和准出啊,就比如说你不符合要求,他我把踢出去啊,你要满足你要求才能进来,而攻业的就不存在,根业是任何人都可以加入这个里面来,然后呢,呃攻业的话肯定是开源的啊,根你全部是开源的,那联盟那呢,你也可以不开源,你可以在联盟内部开源,也可以带,呃全部外面开源,那么从这个。学术的角度来讲呢,就是大家很多认为就只有工业才是真正的区块链,呃,但实际上呢,你们呢,呃,我们认为也是区块链,因为在我们国内这种国情下面的话,你说要完全拿一个东西,完全脱离这个政府的监管的话,其实也是不太可行的啊,就是即使在供应链上面可能也要做一些改造,比如说我们现在做这种,呃,视频分发系统的话,那也有一个。
29:14
一个一个争端上面也要做一些内容的一些甄别,就是你不能上去黄色的或者反的的内容呢,因为区块的一个很麻烦的事,你上去以后是删不掉,也也也改不了的,是吧,那么只能在上去的时候,你要保证内容的准确性,那么这样的话就是非常矛盾的地方,就是说区块链是去真心化的,呃,那么有很多时候又需要有一点点真心化,所以说这里面怎么均衡的问题,那联面链是多真心化的,那供链的话就是完全去真心化的。好谢谢好谢谢李咏老师,好,这边这位朋友啊,那同时这个视频讲一个,呃,就是说我们所有朋友提问完了之后,您觉得谁提问的最精彩,对你就可以把这个贴纸讲给谁,是的,好,来这边这位朋友。
30:00
李总你好,我想问个问题,您刚才材料里面多次提到了,对于那种数据媒体,基于区块链的存储的话,不是基于位置的,是基于一个数字指纹的,其中很多是哈希相关的技术,我们学过计算机都知道,哈希函数作为一种数据结构,里面常用这种散列值的话,有可能是会去碰到哈希冲突的,如果碰到哈希冲突这种情况怎么去解决?啊,从理论上讲的话,确实会存在哈西子的这个村村状,村庄就是村读重叠嘛,但实际上256位的这个哈希子这个天文数字实际上是没有的,实际上是冲突冲突不了的。实际上这本就是你在你的数据内容里面,只要变一个字节,他的哈希字就换成改变,但是他不会沉淀,实际上到现在也没有发现这种,举个例子啊,以前我们都说那个MD5就是消息在幺五都是安全的,后来在两千零两千零几年那个山东大学的那个王小云那个教授,他不就是通过他的一个算法和一些研究说发现了MD5的碰撞,说明在一些以后的这种GPU和和高速运算的这种环境下,传统的MD5的这种。
31:09
加密可能会也会遇到一些不安全的情况,特别是以后有量子计算或者是其他的这方面算力会很大提高的情况下,那这个这种安全性,你看以后会不会有类似的风险呢?呃,量子计算的话,就是比如说比特币这种挖矿的原理,它就是快速的寻找这个哈希值嘛,那当然如果是量子计算机真的出来的话,那比特币的话,这个就容易被这种量子计算机完全控制了,这是完全可能的。呃,所以说为什么现在整个区块链的世界,从po w到到PC的发展,就是以前是靠算力来进行挖矿,那现在就和这个以权益挖矿,就是你自源多少东西你去挖矿,那么现在要变成你有多大的容量,比如说硬盘,为什么现在最近硬盘那么涨的那么厉害是吧,就是很多都是区块链是基于硬盘来挖矿的,就是有多大的存储空间,你就可以有多大的这个权益来这个获得这个奖励,那么这技术也在不停的发展,呃,但现在来说,256的哈希兹的话,这实际上是不会发生碰撞的。
32:10
你再再可能的话拉长了,但实际上从现在大家运营的角度来说,26是完全够硬的,不会出现这种碰撞的情况。好,谢谢李武老师的分享,那么还有没有朋友想要提问的?好的。好,那么谢谢李武老师给我们带来的主题分享啊,同时也感谢您给大家带来的答疑,谢谢您可以回座休息了,这个还改一个吗?哦,对,可以,你想要给谁给第一位朋友是吗?哦,你这里好多呀,发不出好来,给我们第一位体验朋友,谢好,谢谢李文老师,谢谢您的精彩分享,谢谢。那么接下来呢,让我们继续来进行到今天的主题分享,接下来我们要有请到的是腾讯云计算高级产品经理王璐老师,给我们带来易购计算在数字媒体的应用的主题分享,带大家来探索到GPU云服务器的新思路,新场景,来我们现场朋友们掌声有请王璐老师啊,非常感谢大家啊,我先自我介绍一下,我在腾讯云目前担任这个腾讯云计算产品的这样一个产品架构师,呃,今天呢,主要来跟大家分享一下呃,易购计算在数字媒体中的应用,然后我的分享呢,分为以下几个部分。
33:38
呃,首先是我们在腾讯云上遇到的一些业务挑战,由此引发我们引入的一些业务环境,以及我们一些标准的CVM环境,一些,呃,机器的一些引发的一些业务挑战,呃,然后呃,接下来呢,我们就会。接下来我们可以了解一下我们针对于呃,腾讯云GPU产品以及CVM,然后引出的一些技术背景,好,然后第三部分呢,我们会对腾讯云产品进行一个整体的介绍啊,其次呢,我们第四部分,最后一个部分就是基于腾讯云计算产品这样的一个介绍,我们腾讯云云有解决方案的一个介绍。
34:15
然后下来我们来看一下。我们来看一下呃在这个数据猛增的时代呢,其实我们是对计算速呃计算速度提出了更高的要求,我们的传统的呃CPU价格已经满足不了需求,呃比如说我们近几年特别火的这个AI,呃无论是AI训练还是AI推理这样的一个呃业务的挑战,在深度学习的这个训练推理框架中,科学计算的这种场景中,例如说我们的呃大量的NLP啊,这种boot,这种模型,特别大的AI训练,以及我们的这个APC的这种科学计算场景,它是需要强大的这种浮点运算能力的支持,然后通用CU,它比较擅长处理这种逻辑复杂的事务性任务,然后它的算力呢,其实相比于GPU这种专门做这种高并行运算的这种呃产品来说呢,呃它不是很强项,呃,那CGPU呢,依托于并行计算框架,具备非常强的浮点计算能力,数据推量非常大,在这些高性能计算场所呢,变得不可替代,变得不可替代啊,然后在视频转码场景呢,GPU一般都集成了这种专用的这个视频编辑。
35:21
解码硬件单元相比CPU提供了更快的这个视频处理速度和密度,然后也是我们目前这个网络视频流高并发与低时间的选择,比如说哪维达在那个呃cap普架构中就推出的这个呃雷维达这个deco跟雷维达这个引扣的这个组件,它就在视频编辑码方面,就这个性能是非常的高效,然后我们在后面也会进行介绍。呃,在图形图像处理领域呢,作为GPU的传统用途呢,在这个渲染云游戏以及这种协同设计等云游戏场景上的上云,我们的GPU的需求也是会非常越来越大,总而言之呢,就是说随着这个目前这个呃人工智能以及目前渲染功能一些呃急速的发展,呃,GPU的传统的这个框架呃计算能力已经嗯不太能跟得上这个数据项要求的这个数据吞吐量非常大的这样一个爆发,因此呢,GPU就运动原生,然后引入了我们的这个云平云平台中,然后作为我们S层的这个兼并立项,服务于主要服务于这种计算量非常大,然后数据吞吐非常大的场景。
36:24
呃,然后我们开看一下一个市场趋势,就以人工智能应用为主要的推动力呢,我们GPU的这个服务器也是增长迅速,市场规模巨大。呃从行业来看呢,互联网成为了主要的采购行业,它占据了60%以上的市场份额,是拉动这个市场增长的主要行业,那政府的采购量也有所上升,超过了10%的市场份额。呃,右边呢,是那个我们爱迪丝中国2019年的一个数据,我们可以看到对于GPU的这个采购量是急速上涨,那从产品来看呢,四卡及以上GPU服务器是占据了八成以上的市场份额,那么四卡、八卡以及16卡它是占据了20%以上的市场份额,这里面有个前提啊,就是说我们之前用的那个GPU,呃,包括我们一些用的一些微GPU,它主要是用于一些渲染,就是这些对数据量啊,数据处理要求还没那么高的场景,但是随着现在这个AI计算呀的它这个大力发展,比如我们现在这个boot模型,以及这种AILP的一些模型,甚至一些语音处理,然后视频处理的一些模型的话。
37:24
他这个语音识别以及语音合成,类似于这样的场景的话,它对GPU的算力是要求非常高的啊,那之前呢,我们也看到那个我们国内的智源一些场景,他们发明的那个呃,AI的训练算法,它已经达到了一次的这种模型参数,因此他对这个GPU的需求量是非常高的,一般我们用这种八卡的A100的GPU训练起来啊,我们也会搭载搭载这种nv link以及这种整个的这种分布式集群的这个训练来进行这个模型的训练,那从市场趋势来看呢,AI服务器和边缘计算服务器等面向特定工作负载的,呃,细分服务器市场也是迎来了这个爆发,各大厂商呢,就加速了布局该各领域,并提推出新产品啊,那2021年呢,这些细分场景应当是这个市场的热点。
38:16
我们来看一下啊,我们讲一下这个,呃,GPU的这个基础能力,GPU刚开始就是推出来的时候,它主要是做这种图形图像的处理的啊,那在计算机科学中呢,就类似于这种图像处图像处理,它是有有一点区别的,那图形是一般只用计算机那个绘制的图片,有直线的啊,这种圆弧的任意曲线和图表等啊,那只记录生成图的这个算法和图上的某些特点,那图像呢,则是只由输入设备捕捉的实时场景画面,以及数字化形式存储的任意画点,用来计算这个像素点。呃,在图形图像处理中有一个非常大的分类,就是这个渲染,渲染呢就是把一个ID或者3D模型变成一张图片的课程扩程,然后我们渲染呢一般分为大致啊,一般分为四个步骤,一个就是这个顶点处理,另一个就是这种观山画啊,然后其次这是这个纹理贴图,然后最后呢,就是这个像素的输出,这也就是我们右侧这个图,它呃形成的一个过程,那在针对于这个嗯,图形渲染的这一。
39:17
块场景呢,GPU也是推出了非常呃专门的组件来进行这个图形图像的这个渲染处理,呃,那图像处理呢,它主要是做这种图形的放大缩小,旋转、倾斜,镜像透视等这种视频的处理,那我们就可以看到GPU它最初发明出来是专门是解决这种图形图像的这个处理工作啊。那我们再看一下GPU的这个基础能力,视频编解码能力啊,右下角呢,是我们这个图灵GPU,就是目前搭载这个呃,De扣的,还有en扣的这个编码,我们可以看到图灵最新款的这个呃,雷维达这个GPU在de扣的方面它支持的嗯,支持的格式是非常完善的,在de扣方面它支持我们这种呃非常熟悉的m mpad这个杠二的这个支持,也支持这种H264H265的这个支持,然后同时呢,采样深度达到了八比特,十比特,12比特啊,然后我们最高的这个呃,呃最高的采样率也到了8K,然后同时呢,这个呃。
40:24
编码方面也是支持的,嗯,支持的类型也非常多,包括这个HI64和HI65,呃,音视频图像处理的一个过程呢,它主要包括这个数据采集,数据编码,数据传输、解码数据和播放显示这几个过程,那在GPU,特别是图钉这一带,它对这个音视频的编码功能这有非常大的提升,呃,就是GPU这一款的能力已经远远超出了我们的那个使用,超超出了我们的想象。啊,这是我们GPU目前应用最广泛,用量也最大的一个基础能力,就是我们的人工智能方面,啊,在我们的推理阶段呢,我们需要大量的GPU来进行这种模型的训练,呃,我们在一个模型搭建起来以后,比如说我们搭建一个语音识别模型,搭建起来以后,无论是我们的AR还是我们的这种类似于呃。
41:17
什么CNN的这种深度学习框架,我们来用来训练一个框架的时候,其实我们刚开始只是搭建了一个模型,然后模型里的参数一般都是属于这种,我们有一定规律的进行它,将它进行初始化,然后它这一阶段呢,其实是属于未训练的这种深度神经网络,然后我们将我们的数据,将我们的训练数据,呃,吞吐到我们的这个深度学习框架中,经过一些梯度下降,进行经过一些参数调优,甚至经过一些嗯,各方面的这个模型的压缩减脂,呃,以以及我们的一些二分的查找啊,我们会将这个深度学习这个模型训练起来,然后让他的参数更加突出,然让让参数训练的更加匹配于我们这个训练数据,然后我们就训练好的一个这个深度学习网络,深度神经网络,同时呢,这就是我们这个训练过程,训练过程一般是数据量比较大,并且模型比较复杂,需要非常多的这个GPU的算力参与其中,然后训练过程也是我们消耗这个GPU算力比较大的一个方面。然后训。
42:18
在完成以后,我们这个模型其实就可以拿来使用了,我们就到了我们的推理环节,就是说我们客户拿到了数据,就是经过处理以后,放入我们训练好的模型框架里面,我们就可以得出这个训练的结果,这个呃推理的结果,然后用于这种匹配识别决策和这个预测结果,这是我们GPU其实目前大部分的算力都在这个人工智能AI这个训练以及这个推理方方向上,特别是这种AI的这个训练方向。啊,接下来到了我们的众投啊,我们主要来介绍一下腾讯云产品,呃,整个在计算方面的一些产品的介绍。
43:00
我们可以看一下腾讯云GPU,呃云服务器是提供GPU算力的弹性计算服务,它具有超强的这种并行计算能力,作为S层的这个兼并利器呢,是服务于人工智能、深度学习、训练推理、科学计算、图形图像处理、视频编解码等场景,然后腾讯云随可以在云上随时随地提供这种触手可及的算力,能够有效缓解大家的这个计算压力,提升业务效率竞争力。呃,云的发展就是为了让大家就是即取即用,在以往的我们的IDC的环境中,当然也会提供,无论是这种呃呃CPU的资源还是GPU的资源也会提供,但是这就涉及一个非常复杂的,就是大家使用的过程,比如说研发要使用我们的CPU资源,或者要使用我们的GPU资源,一般情况下,我们是不是得向运维提升这个需求。运维。运维去采购,然后我们再进行这个环境的部署,无论是操作系统的安装,还是这个GPU驱动,比如说我们的库带呀,一些的呃,CUDN啊一些,呃,软件的开发,一些软件的开发啊,然后我们都。
44:04
都在耗费我们研发的时间,整个过程非常的漫长,但是云上就很好的解决了这个问题,我们只需要点击购买,然后就会有一个呃,非常方便大家使用的CVMGPU资源,以及GPU在来供大家使用。那GPU云服务器呢,作为这个S层的这个虚拟化实例,它是对普通基于CPU的CVM云主机的补充,是S层高性能计算的兼并利器,然后它主要服务于高性能计算,还有海量数据这样计算的一个场景。啊,我们来看一下啊,这张大家可以拍照留存啊,这是我们腾讯云提供的一个非常丰富的这个计算实例,CVGPU的一个机型的一张概览图,我们可以看到腾讯云提供的这个GPU机型的话呢,呃,非常的丰富,从我们的1/8的卡的GPU一直都是这种八卡的GPU啊,并且我们还有高性能计算集群,搭载这个nv link,呃,这种高性能计算集群在上海地区有售,整个都是一个非常完善的这个产品,可以适用于呃用户的各个运算场景,然后大家都在腾讯云上面可以获取非常呃非常丰富的这个计算实力,计算性能,嗯,可以看到针对于图形渲染和云U戏这块呢,我们提供的这个机器NVW,呃,这边这个我要说一下哈,它里面是搭载了这个VGPU的GRGR这个license的,就是说大家申请了这个云主机,它这个license跟这个云主机是呃绑定售卖的啊,价格上有优惠,然后大家使用起来也非常方便,不用自己再去搭这个。
45:38
个VGPU的环境了,呃同时呢,针对于深度学习还有推理视频编解码的方面呢,我们也提供了这种基因期的这个呃规格实例,呃这个从呃两个卡到八个卡都有所提供啊,然后在这种高性能科学计算呃深度学习推理这个过程呢,我们也是搭载了V100这个NV腾讯云是非常紧跟于那个雷维达GPU这块的一个产品的发展的,然后我们目前也推出了基于这种A100的高性能科学计算深度学习框架,呃,就是我们。
46:10
第。第五行的这个高性能这个科学计算虚拟框架,然后目前呢,我们在上海地区也是有售的啊,就非常欢迎大家上官网或者说下来跟我咨询咱们这个腾讯云GPU产品这一块的一个实例规格。那我们腾讯云VGPU产品,或者说GPU产品,它的一个产品优势呢,就是我们刚刚提到的,在传统的IDC环境中,我们涉及到这个,呃,产品的采购,无论是CPU还是GPU,我们需要先采购,采购完了我们要安装,然后并且我们这个进行一些呃,特别是cuda啊,一些这种驱动的安装的话,其实是一个非常复杂的过程,需要经验,之前做算法工程师候就觉得这个安装其实是蛮痛苦的一件事情,然后上云以后,我们这些问题都得到了解决。其次呢,我们只需要在腾讯云平台上点击购买,然后我们的OS就会进行镜像安装,同时呢,我们也可以一站的选择安装这种库大Co dn的这种安装啊,因此大家就是即买即用,呃,非常的方便大家在研发工作中,呃,使用我们这个计算产品计算资源。
47:16
啊,腾讯云VGPU产品,还有GPU产品,它提供了多种这种接入使用途径啊,我们可以通过那个腾讯云的AI平台,就是TY和TEMS进行这种GPU计算实计算资源的购买,呃,T呢是腾讯云推出的一个针对于。初级算法工程师的一个呃产品,它可以进行拖拽性的服务,然后来来进行一些模型的训练啊,模型的选择,并且具备这种自动化的参数调有能力。TEMS呢,它是用来对我们的呃模型进行这样一个推理的,就是说我们平时在训练完模型以后,我们要在平台上部署自己的计算资源,无论是GPU还是CPU,用来推理的话,我们需要自己去部署这个计算资源,TEMS帮我们自动实现的这个功能,大家只需要把自己的模型attach上去,它会自动进行这种资源的扩缩容的掌控。
48:09
然后其次呢,这个t ke平台也可以接入到我们的,也可以调用到我们的GPU云服务器,然后从最底层的S平台,那当然是可以进行这种GPU的购买,这个适用于就是说大家呃,不同的场景,如果你想买爱上GPU,我们就纯买这个带GPU的这个无论是CVM呀,还是这种黑石的服务器,然后pass层呢,我们就可以通过这个KS集群这样的一个方式来购买,然后如果我们只是从那个AI基础平台介入的话,我们就可以提供这种T和t mes的这种途径来使用我们的GPU云服务器。好,接下来到了最后一个环节,我们来介绍一下腾讯云云游解决方案的一个介绍。啊,就是说我们技术的升级,其实改变了这个传统的游戏市场,然后我们。见证了这个云游戏落地的啊,这个其实也云游戏的这个落地啊,其实呃,在这个云游方面其实也是有一些背景的,首先是我们的5G技术加快了我们使用的这个流量上的带宽会更多了,我们使用起来就无论是视频观看呀,还是说我们这个游戏玩玩的话,我们更加的顺畅了,其次呢,就是说这种云基础设施建设,提供了无论这种边缘算虚拟化的这种服务,其次就音视频技术呢,也提供了这种低延时和高清画质的这种这种这三个因素结合在一起呢,我们就就推进了这个云游戏的落地。
49:34
我们来看一下云游戏未来发展的三大趋势,就趋势一呢就是体验这种原生化,由端游手游的云化,就是我们可以现在可以呈现这种精品的原生云游器,然后定制化呢,由我们传统的计算型服务器,然后我们开始引入了这种定制化的专用云游戏服务器。二层,然后其次场景无复化,我们点开即玩再也不用去,呃,以前的安装啊,使用啊这些都非常的呃轻松,现在点开即玩了,可以进行这种直播呀,信息流,短视频,广告场景的这种无缝无缝衔接。
50:11
那我们看一下腾讯游戏不仅仅是提供了这种S层的这种计算资源,也提供这种pass层计算资源,通过这个低时延音视频,就腾讯的这个RTC,我们可以接接入到我们的游戏中,然他提供这种呃实实时的这种语音识别啊,以及这种音视频的效果处理啊,可以保证我们在云游戏呃玩的过程中可以提供一些啊,就在线的实时互动啊,一些这些啊,这种敲字幕呀这些功能,然后其次呢,控制台也提供这种非常快捷的API和SDK的接入功能。然后我们下面来看几个我们的这个典型的应用场景吧。这个云游戏的这个异购方案,VGPU方案,这个我们下面搭载的是这个冷维纳T4,然后一个单卡的T4,一个单卡有大概有16GB的显存,然后同时我们这边已经这个云服务器里面这个VGPU中已经搭载了我们呃的在这个license,呃,然后进行VVM跟这个license进行打包进行售卖,可以提供到这个1/4个GPU的切分,以及1/2的GPU切分的这样一个规格。
51:17
呃,提供了的许可,无需用户自行采购,一站式进行这个交付体验。然后这是基于我们的黑石裸金属的这个2.0的一个解决方案,那黑石裸金属服务器它提供高性能的密集计算同力,然后能够借助我们灵活的这个VPC网络和良好的系统兼容性,可轻松适配于各类这个云游厂商技术方案,呃,我们这个黑石2.0这个BMG5T这个实例规格呢,它是搭载了96个CP,呃,96个靠384G的内存,然后有四个T4的这个GPU,嗯,然后搭载的是25G的那个VPC网络,嗯,我们无论是在GPU上面是种直通就单卡使用还是这种呃VGP使用,都是一键式部署,这个怎么说呢,就是黑石这个服务器给咱们提供的灵活性更大,如果呃大家使用起来想要灵活性更大,想自己部署这套系统的话,其实黑石是一个非常好的选择。
52:15
这是我们的另一个解决方案,基于这个英特尔SG的这个显卡的这样一个解决方案,呃,它搭配这个安卓的这个容器运行环境,可在Linux平台运行这个安卓游戏,提供高性价比的安卓云游戏方案,呃,这是我们的GE1的这个实例规格,那同时也是搭载了这个两块的S7万的这样的一个卡。这是我们安卓云游的一个软件框架,呃,它这个整个过程是这样的,我给大家说一下这个安卓云的这个整个软件框架,首先它我们这个游戏APP是运行这个安卓容器类的,然后容器类就调用这个英特尔的3D驱动程序进行这样一个渲染,呃,然后将渲染结果呢,传递给我们这个英特尔这个编码器,呃,英特尔编码器呢,将渲染渲染结果编码为视频流,然后发送给这我们这个码流服务,码流服务通过这个媒体流的这个协议,将视频流发送给客户端应用,并行客户,客户端应用接收这个输入事件,呃,通过这个cg proxy接口传递到我们这个安卓容器里面。
53:18
我们安卓云游戏的这个解决方案呢,方案的优势是一个是我们的性价比比较高啊,就单机器多路这个性能优势明显,可支持这个高达80路720P的这个王者王者荣耀的这个并发运行,相比于其他的这个按摩方案呢,我们单路游戏成本节省了大约25%,并且支持这种多端的接入,嗯,灵活性较高,容器内外的编码均有支持,嗯,并且我们也知道这个叉八六的云服务器方案的成熟度是较暗是比较高的。呃,总而言之呢,我们这个腾讯云这个GPU产品,以及我们的VGPU产品,其实是支持了多种的接入途径,也适用于多种的那个呃,使用场景,无论是我们的图形渲染,还是AI的训练推理,我们都能满足不同层次的需求,呃,那诶。
54:09
就接下来是到了回答问题的环节嘛,好的,谢谢王璐老师给我们带来的精彩分享啊,那么接下来呢,同样是到了我们现场朋友们来进行提问的时间了,来,我们同样给现场朋友们五分钟的提问时间,而且呢,同样还是啊,王东老师你也拿到了我们贴纸是不是?是的,如果说现场朋友们提问精彩的话呢,同样是可以获得一个贴纸,那么离我们领取呃奖品呢,就更进一步来看一下现场朋友们有想提问的又是这位先生是吗?啊,你们两位是商量好了吗?好,来,首先有请这位先生。谢谢,不好意思提一个入门级的问题啊呃,我在我的印象当中,腾讯好像一直是做软件为主的,现在也也做硬件设备了吗?现在。也在您,您是指的GPU还是说对啊,就是这GPU不是GPU,是那个,我们引入了多款多车厂家的GPU,包括这个冷维达的GPU为这个主要产品,然后我们也引入一些NPU产品,就我们腾讯云现在是作为一个S层还是pass层的提供商,呃,硬件丰富,然后种类完善,跟一些第三方硬件厂商在合作,是吧?呃,就这个意思是吧,呃,您可以这么理解,但是我们这个腾讯云也有自研的新海服务器,对现在也在搞,对我们有自的这个好的,谢谢,这接下来的是的。
55:38
啊,你好,问两个问题啊,第一个问题,您刚才提到腾讯云的云游的这个GPU的加速方案,提到的是手游,主要是王者荣耀或者阿端的,对于这种PC端的,我们知道DIY的领域啊,很多从V软的R0系列开始,它一个重要的特性就是支持实时光线追踪,就实时的光锥,不知道你的这个云游方案如如果以后推到PCPC端的话,是不是支持这个real time来tracing这个实时光锥的这个效果,因为我们知道,呃,举个例子啊,以前的那个quick,就是雷神之锤那个游戏卡马克最开始的版本是不支持光锥的,大英伟达,因为达二零系以后显卡就支持光锥,所以说这个效果是非常非常好的,也是它的一个卖点,我不知道以后的这个,呃,腾讯的这个云GPU的云有方案里面是不是也支持这个光锥的特性,这是第一第一个问题,第二个问题,呃,就是您刚才提到了这个GPU的方案提到的是提供科学计算和AI这种模型运算。还有一些特。
56:39
渲染渲染渲染不知道,因为我个人是一个围棋AI爱好者啊,自从2016年阿phago横空出世以后,现在现在市面上很多呃围棋的玩家和相关的玩家在围棋的AI方面都都需要大量的这种GPU算力,比如说腾讯他本身就推出了一个决议的,呃围棋的AI在我我我估计也跟新政在那里竞争,是不是也是用到了腾讯的GPU交速方案,呃去年我们的一个群里面,他们用了开源的这个cat go和leader zero这种围棋I也是在这个,呃一些云服务商提供的这种GPU,服务商进行了部署和安装,但是占用了很多算力,结果就被禁掉了,我就不清楚以后以后这块这方,因为对于非我是一个it人嘛,对非非,呃普通普通大众来说,除了玩游戏以外,这种棋类爱好者,我觉得他们是最开始感受到这个AI人工智能技术对于他们的那种颠覆式的那种冲击和创新的。我不知道。
57:39
以后的这种维C是不是腾讯云GPU方面也会有很好的支持,我先回答第一个问题啊,关于这个是否支持这种光锥啊,还有支持这种DLS,呃,DLLS就是这种,呃,深度那个学习采样的这种技术,这种这种这种go系列的显卡其实都支持啊,最新的显卡都支持,这是这个显卡的能力,就我们搭载了这款显卡,它就会支持这个能力,对。
58:06
把它推到PC端是通过你不是在云端,那就是相当于云端的东西要推到用户的这个,通过网络把它把这个渲染的图像,这就是我们刚才看的这款。我们会跟用户有一个交互的,对。验证过了吗?这个只是光锥验证过了呀,这个下来我们可以仔细聊一下,这个光锥跟那个DLS我们都支持的对,嗯。然后第二个问题。您说这个围棋的这个问题,您是说主要是询问哪一款产品呢?还是你们G服务器是不是支持用户自己在上面部署开源的围ti的服务支持,我们提供S跟pass层都支持这种接入。你可以,你可以理解为我们提供这种计算资源,用户在上面是如何使用计算资源,其实是用户自己的能力的体的,你也可以的,哎,根据你购买的产品啊,这个价格呢啊,价格贵不贵啊,我们官网上有非常详细的价格列表,对。
59:08
就我们购买哪一款GPU适用于我们自己的哪款场景,它上面都有详细的价格列出来,对这个你下来也可以加我的那个,呃,个人微信,然后可以询问这个看一下,嗯,好的,谢谢后面还有一位。嗯。我不清楚,我想问一下,现在那个阿里云它是支持工业数字孪生解决方案的,我想问你们这个腾讯云服务器这一块是不是也支持这一块,就这个问题您再说一遍,我说这个阿里云嗯,服务器嗯,它的也是基于这一块,它是支持工业数字孪生解决方案,嗯,数字孪生解决方案啊,我想问一下你们今天推的这个腾讯云啊,这个这个整个这一套,他是不是也支持这个数字孪生这一块啊,就是这一块是我们有专门的那个产品团队来负责的,你接下来可以联系我,我可以帮你联系他们,对我们这边这块今天主要介绍的是我们计算资源,无论是这个CPU资源以及GPU资源的一个底层的S层,还是pass层的一个计算资源的,呃,推广,对,然后您说的那一块呢,其实是有专门的那个产品团队来配合的。
60:17
这个你你很高兴,我看你这个在谈到芯片哈,谈到硬件这些东西啊,呃,大家知道华为最近在芯片这个问题上遇到很大的麻烦,那么当然腾讯没这个问题。有没有未雨绸缪,在这方面有没有什么备胎啊,什么东西啊,对于这种自主可控,你们这现在有没有些新的一些些想法,我们问这个问题啊,对,我们腾讯云实验室也也在自己开发自己的这个,无论是芯片,还有我们的这个啊,他也有专门的团队,专门的,诶喂,你你你能把那个话筒,我看你说的那些厂家都是国外的一些东西,就是能不能依靠自己的,我们也有自己的实验室来专门进行这部分产品的研发,对。
61:03
也有的对,无论是我们的新星海实验室,还有我们的一些芯片的实验室,这我们内部的实验室都有进行这方面的开发,对。好的,感谢大家的提问,也谢谢王璐老师给我们带来的精彩分享以及给大家带来的答疑啊,谢谢,那么接下来我们继续到今天的主题分享,接下来让我们有请到腾讯云数据库专家工程师窦贤明给我们带来腾讯云云原生数据库TDSQLC云上应用研发方式的变化主题分享,接下来掌声有请窦贤明老师,有请啊,大家好,我是窦先明啊,简单来说我是程序员啊,刚才那个开开头的宣传片里面讲了很多程序员的事啊,我就是典型的程序员啊。今天跟大家分享一下云数据库这类的东西,呃,云原生数据库这块的东西啊。会从这几个地方去去讲一下,第一个是会讲一下云原生的数据库的起源是啥,因为他任何一个东西,它一定是有一个原因嘛,会解决模磨类的问题啊,第二点就是会讲一下我们对我们,哎,我在提一个小问题,在座的那个是研发的,做技术的,来举个手,我看一下来。
62:19
有没有?啊好啊,这这几个都是程序员是吧?啊,所以这这对于我们的平常的研发呢,会有一些。啊,不一样的变化,尤其云云数据库啊,尤其云生数据库啊,它的发展对我们的研发方式都会有的不一样啊,给我们的业务开发啊,它的成本和节奏,工程效率都会有很大的变化。第三点就会给大家介绍一些案例,尤其是一些呃,比如说我们电商啊,然后小程序啊之类的微信小程序案例,第四点呢,会讲一些呃,我们更进一步的一些东西啊。第一个就是呃,我们这些首先要对比一下,就云原生数据库,它今天的起源往往是为了解决过去的一些问题,那过去的一些问题,那就我们要看一下过去的方式是什么啊,一般来讲呢,在过去的方式当中,都是呃主备的方式,一主一备,主备呢就是说我第一个啊,我建一个数据库在主,然后通过呃数据流复制的方式,把它的数据呢,放在那个背上面去。
63:16
放到B上面去之后呢,然后正常情况下业务是连到主上面的,但是呢,因为你主机总会出现问题,当主机出现问题的时候怎么办?你这时候业务就挂了,对不对,没法用了啊,这会怎么办?会切到背上面去,那这里会有什么问题呢?当你切换过去的时候,它其实有一个时间窗呢,哪怕几秒钟你在主上的数据呢,它有可能没有来得及同步到被上面去,会造成一个什么问题呢?叫数据的丢失啊,在数据丢失的时候,那就比如说你原来诶我已经把这个订单已经做下去了啊,我这用户已经注册进来了,发现切完之后他又没了啊,会出现这个问题,那有没有别的方式呢?传统方式有没有别的方式去处理呢?它也有,但仍然存在一个问题,比如说它是同步的方式去传到备库上去。
64:01
什么叫同步呢?就是说在主库做完之后,立即在备库写完之后再去返回给应用端,但这里也有问题啊。备库挂了怎么办?被挂了之后主库也就夯死了啊,它也会存在这个问题,所以这里会存在一个很严重的问题,就是。可用性与可靠性的选择问题,就你要么选择可用性,要么选择可靠性,它很难两者都兼备啊,可用性是什么意思?就是说我的数据库一直是能够访问的,能够读写的,可靠性是什么意思?我数据库一定里面的数据一定不会丢失啊,那这里时候你会发现我当时同步的方式的时候,他数据是不会丢了,但他备库一旦挂了之后,你就经常会有可能会出现不可用啊,这时候你的业务可能就停摆。啊,当然如果你选择可靠性的时候,那有可能可用性出现损失,可用损失的话,你业务也是,呃,那个当你选择可用性的时候,可靠性有可能就出现损失,那这时候怎么办呢。啊,这这是第一个问题哈,嗯,第二个问题是。
65:04
当我们建立一个主备关系的时候啊,比如说我建立一个主库,一个备库,但实际上它的资源占用是很高的,是两倍的资源,那我会希望去充分利用这个资源,所以呢,会把一些,呃,就是业务的负载啊,就是。搭在背库上,那么我们称之为这个叫RO的节点,叫read only的节点,Read only的节点呢?我们往往都不是一个,可能是多个,那这里又有什么问题呢?因为每一个RO它都是全量的数据,所以你建立一个RO的时候,需要把主库上的所有的数据全都拉过来,所以你会引起一个数据很大的一个迁移,这个时间就会很长,比如说你,呃,按照我们现在都是万兆网卡来算,你即使也是那个呃6T的数据或者35T的数据,你迁到一个备库也是要很长时间,好多个小时的啊。那这里还有一个问题,就是当你备库多了之后,你准备的延迟也会越来越大,它的数据的丢失的可能性也就越来越高啊。
66:00
然后呢,这种情况下你就不能选择说,哎,我无限加rog点不可能的,你最多加两三个,三五个就就差不多了,你再高的话,它就支撑不了了啊,然后呢,他就这种情况下,就是说你也不可能把一个呃实例数的空间弄太大,你超过3T5T的时候,就你这个数据就很难处理,所以他的数据量往往只能控制在几个T级别,你知道10T20T就没法玩了啊,所以这是。第二个问题,那这两个问题其实是几乎是在传统的这种主备方式下,就是不管什么IC和是PG啊,他就很难去,就是开源的东西里面,开源的方式你是做不到的,解决不了的,你就是在传统架构上,它是一个无解的问题,你只能去选择啊,很难去说我两个都要啊,那这个问题也是一样子的,他成本你就是降不下来。那你RO节点时候就是上不去啊,这时候就是,呃,这时候怎么办呢?就就是这就涉及到一个问题,就是我们怎么今天这个云原生的一个价值的问题啊。啊,这是一个全量复制,它会把所有的数据全部放这复制过去啊,OK,那什么是云原生数据库呢?这云音素这个概念,其实现在呃大家可能听的也比较多啊,认为云原生好像就是呃K8S啊,其实其实不是啊,呃,云原生的定义跟K8S没有呃直接或者一对一的关系,但是呢,他确实有很强大的关联,所谓的cloud native,所谓的云原生是指基于云的一种研发方式,而慢慢来讲,你会发现大家都越来越走上云之后,云的特性带来的价值被更多的人认可,走上云之后,越来越多的应用变上云原生的应用,而我们的原原生数据库呢,其实就是基于云的研发的数据库。那什么样的叫云的生呢?第一个就是分布式存储。
67:43
在云的一个特点上里面,它就是把存储和计算分离的,就是说我基于是共享存储去做,然后存储全是放在共享存储上,而不是放在刚才再看一下刚才这里,因为这里是放在每个节点上,每个主机上放一部分。啊,它所以都是分散的,所以每个数据要分很多份很多份,但是如果放在共享存储上,我只要放一份。
68:03
那这第一点。第二点呢,就是存储与计算分离啊,你存储是放在共享存储上的,你就不用说,哎,我把存储跟计算啊节点都放在同一台机器上,这时候这个计算节点跟存分布式存储,你不知道在哪分布式接数可能是另外机房或者另外一个地方去啊,或者另外另外几台机器上去,而我的那个RW点,这里RW是指读写节点的意思啊,这比如说是HOST0这台机器上啊,它会就是说是在另外一台机器上,计算节点跟存储节点是分离的,这里的一个核心的,嗯,思路或者方向是什么呢?就是把存储做重。把那个计算做清啊,当然我这里可能可能技术上稍微干一点啊,啊这个这个可能稍微细一点,然后但但是对如果对于业务研发的时候,这个地方会有很大的会有比较大的一个启示啊,那比如说我们这时候RO怎么办?I其实随便借。不用,原来一方是我要把所有的数据全部复制一份,才有一个只读节点出来,不用了,你这个随便拉起来,大家猜一下这个数据可以拉到,呃,我拉一个RO现在可以多长时间。
69:10
有有谁有谁能猜猜一下的吗?啊。17秒。你不管你数据量有多大,我们这存储最高可以做到128T 128T的实例,建一个IO只要17秒。而且是任意一个。啊,这个什么会带来什么,后后不叫后会带来什么收益呢?啊等一下会给大家讲啊,这个其实会带来很大的一个变化啊,就是因为尤其大家在呃,业务研发在跑的时候,在运营过程中的时候,会带来非常大的一个变化,就是你可能就不需要。提前准备RO啊,提前准备根本不需要啊,你看刚才这里,我们再回到刚才这里。针对每个节点都要全量复制一份,全量复制一份,你想可以6T数据,你每次都要复全量,你这是比如说我这里就拿四个节点来说你一个实例,如果他是6T的话,你整体数据空间就是4624T。
70:02
它的成本是很高的,对吧,但是这里。这里是多少呢?假设还是四,呃,还是还是6T的数据,那你数据空间就是6T。没有变成24题,就是六题,你计算机元那就随便你加啊。然后呢,一个负载均衡。啊,所有的这种就是你加几个节点随便加,我们这里RO节点最多可以加到15个啊,你加入15个节点就来一个请求随便发到哪个,然后资源这边还不会互相争抢,比如说我A业务跑在第一个L上面,B业务跑在第二个L上面,他们都是轮回去跑的时候都不会互相影响啊。所以这是他这个,呃,一个一个这么一个架构啊,这个架构又带来很多的好处啊,我们可以看一下,就是给他有好处啊,这是最典型的一个直接对比啊,第一点就是可用性,可靠性的问题啊,在这之前呢,我们可用性和可靠性是没法兼顾的,你要么选择可用性,要么选择可靠性,当你选择可用性的时候,你可靠性就会得到损失,当你选择可靠性的时候,可用性多少都会得到损失,但在云原生这里不用担心了,为什么呢?我们再来回看这里。
71:08
底层分布式存储,它解决的是可靠性问题,数据一旦写到存储里面呢,就不会再说出现丢失。啊,所以呢,你这时候诶,我RWRW挂了,你切到RO上面的,他读的,因为都是同一份存储同一份数据。所以RRW跟RO看到的数据是同一份数据,所以它根本不会丢失数据,所以这时候你只要保证RORW到RO的一个切换它的及时性就可以了,比如说我RW可以做到啊,秒级切换,比如说几十秒就切换之后,那可用性就可以做到很低很低很高很高很高,做到水平啊。那这个就是第一个价值啊。这个可能呃,大家可能做接触不是特别多,可能我不一定能get到这里的,呃价值哈,比如说你业务简单来说,你一年里面时间,你业务停摆的时间就更低了,比如你哪天你要做迁移啊,数据的清洗啊,乱七八糟事情无所谓,都不要动啊,业务都不会停摆啊。
72:03
第二点就是他的秒级扩展啊,秒级扩展会面会讲一个案例,在案里面给他讲这到底到底这个地方的价值到底在哪里,秒级扩展就是说我今天要加一个RO的时候,可以十几秒就加起来,点一下眨个眼睛啊,起来了一个,点一下再眨个眼睛起来一个。第二点是备份啊,像原来那个如果6T的时候,你光备份备份的备20多个小时啊,还不一定备完,那现在都是分钟级呢,就是我们不到一分钟两分钟就能完成一次完整的备份。这还是很厉害的啊,其实在数据库里面里面就其实很很很厉害的一个技术了已经,嗯,第三点我估计在座人很多人都比较关心的就是钱。虽然这个用了更新的技术,更新的技术,然后那个架构也更优了,但是很有可能你如果用的得当的话,钱会更少,成本会更低啊,等一下会有案例给大家讲一下就知道了啊,因为它那个存储计费是跟计费是分开的,原来都是一体的嘛,现在就是我存储是一份钱,计费是一份钱,如果当你计算的时候,我不需要,不不需要计算的时候,我把计算全部关掉。
73:08
这时候你可以省计算的钱,只保留存储的,只付存储就OK了,这个其实会极大的降低成本啊,当然这跟你业务模型有关系,因为业务负载就很大,那这个这个钱我估计你们大家都都乐意花,对不对啊。第四点,也就是第三点的一个体现,就你可以动态的增加节点,增加row,减减一个row,你就很容易控制你的成本,整体的成本啊,然后这里还有个问题,就是容量的问题,容量我们可以做到,呃,最高到128T,像原来的主传统主备方式就很难做到,就是这这么这么高的流量的啊,这么高的容量你最多就做个几T 3T5T,很很了不得了,那这个看起来好像只是容量增加哈,但是对于你们业务的架构的影响是非常大的。啊,我举个很简单例子,后面也会讲就是。你不需要分工分秒了,你所有的数据全往里面怼就好了,128期其实在呃,绝大多数据业务里面,基本上在数据库里面基本上都够用了,你你你们有有有谁个就业务如果说能超过128T,那这业务一定很了不得对吧,那肯定是就不是不是不是简单那么搞的架构了,对吧,那肯定是多个库啊,或者是怎么样业务拆分啊,肯定不是这么玩了,那128T的空间能成,你想看有多少多少多少那个业务能把关系数据库的量达到128T的,反正就我的经验来看,能达到120T都很少啊。
74:29
所以这这个这个是它的一个价值哈,那对于我们研发来讲,一般怎么玩呢?啊,这个这个其实这是一个重点啊,这是今天想讲一个关键点,刚才只是讲一个什么,我们为什么要做这件事啊,我们解决了什么问题,但这个如果对于大家业务开发,对于你们的业务,对于企业里面有什么价值呢?啊,第一点就是大家不用再担心运维的事了。用的时候再申请,当然这也是云的基本特征啊,当然这里呢,就所谓的云原生,就把这一点发挥到进一步的一个一个极致的一个空间去,比如说你原来是说诶即开即用可能还要等一会,还要等个几个小时,现在根本不用等,比如原来你建I的时候要几个小时,现在秒级啊,所以他在即开即用又达到一个相当的进步,都弹性就更进一步,如果大家如果基于SDK的时候,比如说把那个逻辑,业务逻辑,就是资源的控制的逻辑,跟你的业务结合起来的时候,你可以很实很很很自然的实现一个自动化的控制啊。
75:30
第二点,我我估计这点可能搞那个搞技术的可能会知道一点,就是不再需要分库分表了啊,分分表其实很痛苦的一件事啊,你们现在其实如果容量做到128T的,基本上你。大门业务真不需要分库分表了,就往一往一个库里面怼就差不多了啊,暴力查暴力扫都能搞得定,你这时候还分库表,分分库分表干啥呢?那不需要了,所以而且我一直认为,呃,分库分表是因为过去数据库没有做到一个比较好的一个程度的一个中间方案啊,所以现在来讲,其实大家已经不再去往分布方向这方向方向去讲,因为这个东西已经不是特别大了啊。
76:09
第三个就是读写分离,读写分离就是很多人get报这里好处啊,读写分离就是很容易,就是说原来会有一种情况,其实我们的业务当中,它的读写比例哈,读的比例要比写要大很多很多,从我的观察来看,大约正常情况下是9:1,也就是说你读九次数据库才写一次数据库,这时候你如果把读请求放出去的时候,就不会影响写请求,这时候你业务跑的会更稳定啊。然后实时的数据分析,这个其实对于业务的价值是很高的,但现在来讲啊,就我看了客户来讲,很多客户还不会用起来这个,这个怎么讲呢,就是他确实是有一些难度啊。因为他需要你组织结构配合什么意思,比如说我今天业务跑了多少多少,其实你晚上就能基于这些数据分析出来我当下业务的情况,比如说进了多少客户,这些客户的类型是什么,客户画像是什么,我可以实时去做的,但是在传统的方式里面,你不敢这么做。
77:04
因为他资源很有限,你怕把主库打爆了,把他那个主业务打挂了,但是现在你建一个roo啊,等一下会讲案例啊,打讲1IO,然后你在那上面去做实时分析啊,就很简单,然后你就可以实现实时的数据分析,你对你的业务可以实时的一个直观的了解,这个这个就是给研发同学玩的哈,就是你随便写C库了,不用担心,担心说我把数据库写挂了啊,我们可以自动把你诊断掉,告诉你说你这C库不对,应该怎么怎么写,都会自动化告诉你啊,我们有个服务叫DB,会自己干这个事啊。第四这个就刚才已经讲过了,你可以灵活的控制成本这一点,其实其实这个得看大家怎么玩哈,如果说大家学会用,不是在控制台上人人人点随便点点,那那其实基本上就基本上都都都好办啊。那我们讲讲一个几个案例,时间有点紧张,我讲的快一点哈,小程序大家都知道对不对?大家有没有想过开发小程序呢?你们怎么做到小程序上去呢?我们这里有一个小程序的开发创建,等一会那个,呃,有一个他们的产品经理叫思静,思静同学他会会会讲,那这里我为什么讲这个东西啊。
78:11
那微信的小程序前端,就是我们点开那个页面对不对,他通过网络接入,接入一个什么呢?就微信与托管。微信云通管是呃,腾讯出的一套开云云开发的一套基于云产品开发的一个套件啊,基于这个开发套件已经很方便的开发小程序应用,你不管是视频直播还是电商智慧零售什么的,因为现在很多都是从小程序去做开发,去去就直接点开,比如说很多的电商都是在这边玩的嘛,对吧,游戏也是啊,很多游戏包括政务也是,现在很多政务都在小程序平台,你通过云通发云开云云开发那个套件可以很方便做,那这里跟数据库什么关系呢?它是通过service使用的数据库啊,这这地方其实很好玩,你们只要点一下,然后一整套的东西给你弄好了,我们一整套数据库也给你弄好了,你连看都看不见。
79:03
你连感知都感知不到,你直接写CQ就一个链接地址,你直接写CQ就能正常玩这个,这个其实很很很有意思啊,后面那个呃,私信他也会给大家介绍下云开发到底怎么玩,大家知道云开发之后啊,背后就是一个云原生数据库的一个支撑,作为支撑的一个角色,这个大家不一定能够非常直观的感受,其实背后就是一个云数据库,它一个很弹性的一个东西,因为它我们pass平台嘛,把自己做的很很轻,呃很很很轻亮之后,那很就是平台化之后,你们只要用就好了,甚至都感知不到啊,所以但这个地方我们背后的一个支撑就是实现它其实是就有一个技术的迭代在里面,如果没有做到云原生,如果没做到service的话,这个其实很难做起来的,所以这是一个技术迭代带带来的一个效果。这是另外一个案例。比如这是一个电商内容电商平台,这是我们一个客户,我不好意思,不好在这里讲什么,讲他的名字啊,他就是把更新的业务写在RW上面,然后查询率放在RO上面。啊,就这两个负载就没有什么关系,不会互相打挂掉,然后呢,当业务高峰的时候秒级扩容。
80:07
RW和RO分别秒级扩容。这个还还还是还是很很有意思的一个点啊,就是你们如果哪天哎,我又又要挂了,赶紧怎么赶紧扩容多长时间15秒17秒啊,原来就多少17,原来有多少五个小时十个小时,现在17秒,你业务高峰,比如说尤其是直播视频类的,人家可不会等你对吧啊。实时报表类的这个这个这个就简单讲一下就好了,比如说当需要报表的时候,再建一个RO专门给他跑啊,跑完之后呢,就就是报表计算完了之后呢,再释放掉大约多少钱,大家可以回头可以去官网去看一下,这个价格可能要几十块钱可能就够了。比如你跑一个C可能几秒钟,然后建个实例可能十几秒,所以建完之后他开始才开始计费嘛,加起来才才才才才可能很少的钱,你就可以搞定了啊。那前面都是案例啊,我是讲的有点快案案例,那么这里就是一个呃,极致弹性更多的一个东西啊,其实我们现在已经做到了,但是我就是没有在这里面讲的太多,也也不好讲的太多了吧,内容太多,所以这里强调就是service DB啊。
81:12
那给大家来一个,这里有个例子啊,给大家听听一下三分钟大家嗯。大家好,我们今天和大家分享一下关于嗯,T c service DB的自动暂停的体验,嗯,这个分享呢,是基于S的word应用和TC的service DB来进行的,首先呢,我们打开两个控制台。一个是service业务中心。那另外一个是我们的云原生数据库DC。那接下来呢?我们叫这个,这是一个service的服务,就是你们服务可以点一下就起来,这是另外一件特点啊。呃,Service就会自动帮我们部署这个应用,那这里的话,我们可以看到这个部署的日志,我们可以看到我们这个service应用已经部署完成了,那么在t service页面呢,也自动生成了一个service DB同样都在上海。
82:03
那么我们怎么样去?验证这个service DB的自动启停呢,首先我们可以看一下在C这个控制台这个实例的执行状态,现在是运行中。那么代表这个集群现在是计费的状态,我们回到这个service应用这里。我们点击这个应用,那么点击这个应用的首页地址,我们就会打开这个应用的首页,这个地方我们是这个网站的一个例子,其实不同的业务都不一样,你比如说有直播业务都一样,那现在我们关掉这个。应用的首页,我们把这个。集群的状态呢,设为暂停,这时候会把那个整个视频放到点,暂停之后呢,这个集群状态现在变为暂停中了。证明它正在关闭,那么我们可以看到这个集群状态现在已经变为已暂停,那么两秒钟这个集群大家有没有注意,两秒钟,大约两秒钟暂停不再进行收费了。这里我们为了我们后面看这个计费指标的这个清晰度,我们就。多等一会儿。我们等个一两分钟吧,那好,我们现在已经等了差不多有接近一分钟了,这个时候呢,我们再回到这个啊,应用这里,我们再点这个项目的首页地址。
83:09
诶,我们可以看到这个时候呢,啊,这个首页地址是打开比较慢的,为什么会发现这种情况呢?是因为这个时候我们的这个数据库呢,它在处于一个。初始化的我们的数据库呢,它是处于一个从啊暂停中变为一频中这么状态的一个冷启动,所以我们的这个手机打开会稍微比较慢一点,那么这个时候我们再尝试刷新一下这个页面,嗯,我可以看到这个刷新是非常快的,就不会像刚才一样打开可能有个五到八秒左右的一个延迟的,那么这个时候呢,我们的实例呢,是变成运行中了。OK,那在这个期间。发生了什么事情呢?我们可以看一下这个集群它的监控,那么我们可以看到这个CCU这个指标呢,CCU这个指标呢,其实就是我们这个service DB它的一个计费单元,那么这个从这个时间点我们是开始安装的,那么到这个时间点的时候啊,它一直在运行中,那这里你看它突然变为零,说明什么呢?说明在这个时间段我们也就是我们刚才暂停的这个时间段呢,它已经是不计费了,所以它的CPU是零个。
84:05
那刚才呢,我们。通过这个页面打开这个页面,又把这个DB激活了,所以呢,他在后面的时候应该是会啊,也会应该是会再重新变为0.25的,OK,这里我们再刷新一下这个监控。那可以看到,在我们暂停时间结束之后呢,这个CC它重新启动了,那么它的计费单元又重新变为了0.25。那说明在这段时间之内呢,我们是没有计费的,只有在我们运行期间重新变为计费了。这是一个典型的一个例子啊,一个用法啊,所以呢,这是基本上我讲的一些内容,中间那个地方是不计费的,你可以随时把它停掉不计费啊。好吧,这是基本上就是我今天的内容,然后看看大家有没有什么问题啊,好,来,首先把话筒给到这位先生。诶,老师好,刚才听了您的精彩讲课,了解到这个云原生数据库跟那种传统的主从数据库相比,它在可用性和可靠性的呃均衡等很多方面都是占有优势啊对,那么我想了解一下,就是这个云原生数据库它相比之下它的部署成本它是同样有优势还是呃处于劣势呢?就成本方面,谢谢,分两种情况,嗯,在云上。
85:28
不管是公务员还是私有云。它的部署成本是一样的,其实是更低的,因为原来那主备的方式,你要部署一个新实力的时候,或者请求一个事,比如说点一下对吧,公公网上就是说控制台上申请一个新实例的时候,它需要三到五个小时这样子,但是在这里只要一个呃,17秒,所然部署成本是更低的,在云上使用的时候,不管是公务云还是私有云啊,那如果说是另外一种方式,比如说我们现在正在做一体机,一体机的时候,它成本就会,那就会稍微不但,但是我们做法可能也是不一样了嘛,那个是可能是说部署成本,你可能是买一个盒子直接回去就直接跑,那也是部署,基本上也没有什么部署成本,通上电就可以了,所以整体来讲,他的部署成本不管怎么样都是比较原来低的,但是这是从站在用户或者你们客户的角度来讲,但是他内部其实更复杂了啊,但这个复杂度呢,是我们自己把它消化掉了,或者我们把它做掉了啊,是这样子好的,谢谢谢谢啊,谢谢。
86:19
这是这个就是我们客户就跟那个数据库还是接触有有呃有有关系,呃,刚刚你说的那个前面说的那个数据库的一些痛点的时候,大概我就想到他就是可能会采用某种存储的方案,那你说的那个分布式存储,它到底是是不是我们常说的对象存储,还是说它更底层的一些技术来跟这个呃数据库进行对接的更底层的。就是他是为数据库专门定做的,不是你们就是公共网上那个云存储,不是那个是不能直接用的,所以他需要做很多的研发,所以这块全世界就三款。
87:06
三四款,就全世界所有的公司当中,只有三四款,他技术难度是相当高的啊,所以它那个存储呢,是我们专门针对数据库的特征,就专门做定制的,这块技术难度是相当高的啊,OKOK。好,谢谢窦贤明老师的分享,来,有请这位先生。呃,你好,我想问一下,就是数据持有化保存这个,呃,分布式存储这个有没有更深的更多的一些制作细节可以分享一下测试数据什么?呃,就是你这个分布式存储的高可用心啊这一块,第二个的话就是呃,有没有比如说t cloud t dark这个有没有私有化部署的这个,呃,一个方案啊,好好,这个问题挺好,就是首先两点,第一点就是呃,细节这块我们现在还没有对外面讲太多啊,目前来讲我们没讲太多,毕竟这个东西不是说真的要讲,因为听的人就是乐意听的人不多啊,因为里面都是太干了,都是技术,纯技术细节,但是这里面基本上来讲,其实跟那个分布式存储的原理性其实差不了太多啊,比如说分布式存储,三副本或者五副本或者六副本,那保持那个一致性协议这种,然后再把日志的重放这种,这种逻辑其实都差不太多,但是它最难的地方是在于实现,所以实现里面其实有很多的地方需要你做trade off啊,做去做很多事情。但这些东。
88:26
所你拿出来讲,也就可能大家也不是特别关心啊,主要是讲的比较应用层面的东西,所以今天其实没怎么去讲这块东西,其实就像这样,我我已经超时了啊,所以那块东西是比较复杂的,都如果大家有感兴趣的,我一看,因为我也在群里嘛,这个在那个今天那个活动群,大家如果有兴趣的话,可以在群里艾特我,或者告诉我,我们下一次在分享的,可以去可以去讲,本来我们也在安排,说到底我们后面到底该讲些啥或者怎么样的,所以有兴趣可以讲,嗯,你第二个问题是啥来着。呃,私有化部署这个事情我们正在做。是就在正在做,但是我们现在不好直接告诉你时间啊,我正在做好,谢谢来这个位还有吗?啊这一位。
89:10
啊,你好老师你啊,我想问一下那个问一个竞品的问题啊,好没事竞竞品的,对就是呃,现在腾讯云也做这个云数据库嘛,然后假如说像比业界的这个华为云的就是GSDB啊,啊我看刚才老师聊的那个读写分离,包括最大就是128TVB的容量,其实那个ghost他也有,就是说相较于他来说啊,就咱们这个腾讯云的优势在哪里啊,就是这个问题,谢谢老师好,这个问题挺好的哈,首先是这样的,高斯就其实其实本来我不太愿意提,因为毕竟是我们的职场,对吧,不太愿意提,就是高斯,他其实分布式数据库,我们这里其实跟跟他的架构是不一样的。就云原生的一个架构其实不太一样的,它是那个存储计算分离架构,跟他那原来的分式,那个它的计算存储一体的架构是不一样的,那这里的存储运算,存储计算分离这种架构有几点好处,第一个呢,弹性特别好。
90:08
就是它的计算节点可以单独弹性,计算节点,很轻的计算节点可以随时拉起来,但是那种分布式就不是,你要拉的话就拉一个整个存储节点,它有存储数据在里面,所以它的弹性就不可能做到秒级,说立即给你拉起来做不到的啊,这第一点,第二点就是存储和计算,它可以独立的去做弹性,这个大家如果用云用多了之后,就会能感受到其中好处,计算和存储一体的时候,你你你扩展一个计算资源,就得扩展存储资源。就是那部分钱,你一点都少不了。但是这个里的时候,存储和计算你可以单独我我只扩存储,那计算钱我是不不用增加的。啊,这其实是两个我觉得非常大的一好处,这本质上来讲,其实具有充分利用云的弹性啊好吧,回答你问题啊,好,谢谢窦贤明老师,那我们今天也是由于时间的关系啊,如果说大家之后还有任何的问题的话呢,都可以扫码进入到我们今天现场的活动群里面,那像我们窦贤明老师,还有我们今天的各位专家老师们啊,都会在我们群里面,所以呢,大家可以后续再进行交流和分享学习,好那么这边谢谢窦玄明老师,谢谢谢谢,好,有请回头休息好,对了,还有一个很重要的事情,对,就是这个贴纸,那老师你想要给谁?哎,我觉得那个有两个我觉得问挺好的,这就这个我觉得给这个和这个同学吧,这两个啊这这两位先生是吗?对,好的,如果另外两个一位做鼓励啊,我仍然给您一下,但是你们就不能挑号码了,好的,谢谢段老师,谢谢啊,也恭喜我们几位提问的朋友们,恭喜。
91:40
好,接下来继续继续进行到我们今天的主题分享,接下来我们将要进行到的是由腾讯云高级产品经理郭磊老师给我们带来腾讯云音视频原创多媒体引擎的主题分享,那么在这里啊,要告诉到大家,因为是由于疫擎的原因,我们郭磊老师他在深圳,所以呢就没有办法亲自来到我们现场,我们将会通过现场连线的方式来连线到郭磊老师,好,来,有请工作人员已经连线上了吗?
92:14
哈,郭磊老师你好,你好,可以听到我们说话吗?啊可以可以可以大家好好的好的,那我们现场朋友们也掌声欢迎一下郭磊老师,嗯,谢谢大家啊蔡有很有幸今天下午有抽出时间跟大家做一个分享,嗯,那就如主持人刚说的,今天很很遗憾,因为深圳的疫疫情没法去咱们那边现场活动跟大家交流,嗯,所以就在线上吧,跟大家做一个简单的一个一个沟通,然后今天我要分享的主题是云创多媒体引擎这个产品,嗯,那这也是我们腾讯云呃很重要的一款,呃产品是针对企业级的内容生产提供的一个服务,嗯,那在开始介绍整个具体的我们的产品服务之前,其实我们做一个简单的一个背景的一个一一,嗯一个说明吧,其实也是在近两年吧,疫情其实在疫情前跟疫情之后啊,这个过程中,嗯,我们大家肯定都深刻的感受到一个大的一个趋势。
93:14
就是我们的直播嗯,我们的短视频,嗯不论从我们用户的一个活跃的一个数量,用户的整个行业参与的一个数量,包括用户渗透率,嗯也包括我们越来越多的企业,嗯基于短视频以及直播嗯这样的一个形式去进行我们业务的一个一个拓展,这样的一个这这一系列的趋势啊,其实在近几年都是呈现一个非常明显的一个上升的一个一个趋势的,嗯,那同时在这个趋势下,我们也看到了嗯一些现象,那首先的话,呃这就不多说了,是因为我们整个基础技术的一个发展,其实也是为这样的一个呃快速发展提供了一定一定的一个呃必要的一个技术的一个基础,那同时我们也看到在呃现在这个领域内,呃进行内容生产,呃,所投入的一个呃团队,呃企业,包括人员其实也是越来越多的,嗯,那这里不仅包括呃,类似这里写到的。
94:14
MCN的一个一个机构,那其实我们越来越多的企业,包括我们企业内部不同的业务之间,其实都是越来越多的通过内容的方式来进行我们的业务的一个呃一个推进,嗯那所以整个内内容消费这一块儿,我们也看到了一个企业在这块投入的一个变化,就是不论他是从呃营销方面,就是我们持续投入的内容营销方面,包括我们日常所做的一个广告的一个投入,嗯其实各个方面其实都越来越和内容嗯嗯联系的紧密,那也是基于这样的一个大趋势,嗯我们推出了原创啊这一个呃平台这个工具,嗯,那说呢,具体这个工具能能为我们企业,能够为我们行业带来什么样的一个价值呢?呃,一句话概述,嗯,我们主要是助力咱们企业,嗯,能够轻松的去,呃,构建自有的一个内容生产平台,那这里是针对。
95:14
呃,内容生产平台,嗯,这个核心的一个一个,嗯,一个一个一个能力去进行搭建的,那在这个底层来说的话,我们其实嗯这里可以体现嗯五个主要方面的一个一个能力,那首先第一方面就是在内容生产之前,我们一定要去获取呃基础的一个素材,呃要么购买,要么自己拍摄,嗯包括素材,我们的一个各种版权素材的获取,所以在第一方面的话,版权素材库这里其实是云创这里提供的一个,呃,第一个核心能力模块,嗯,那第二块的话就是我们在内容生产时候不可避免的一个就是我们的内容的一个设计,内容的一个规划,也就是我们的创意,嗯,更专业一些的,呃,一些同行可以。
96:00
及到我们整个的一个故事线的构思,我们的分进,我们的脚本,很多这样的一些东西,那这里边的话,我们嗯就是云创这个平台吧,也是通过嗯一些主题模板去进行了必要的一个创意,一个内容创意的一个门槛的降低,那同时嗯也是在行业中我摸了一段时间之后,我们又推出了我们自己的一个素材以及模板的生产工具,主要也是服务于我们企业去定制去生产嗯与自己业务呃结合更紧密的,或者更加呃专有的一些资源和素材的一个生产,嗯都是为了去达到我们整个内容创意这块儿的一个快速的一个输出。嗯第三方面就是协同,嗯管理相关能力啊,就是内容生产过程中一定会涉及到,嗯,多人甚至多组织,有一些更复杂的,可能还涉及到跨地域的一个沟通,那这块线上的一个协同,其实就是非常必要的一个一个环节跟能力,嗯,第四个核心的一个。
97:01
模块也是我们最基础但也是最重要的,就是整个内容生产制作方面的一个能力,我们提供了也是多种模式的一个视频的一个生产方式,呃包括呃标准的呃非线编的一个剪辑的一个呃一个工具,嗯包括针对直播场景,越来越多直播场景我们去做直播剪辑,包括边直播边剪辑这样的一些跟行业场景紧密呃相关的一些场景的功能,嗯包括我们大力的发展的一呃AI的一个剪辑模式啊现在已经应用到了类似电商嗯,类似体育赛事,类似游戏,类似新闻媒体,这四个核心的一个场景都已经有了一个,嗯,一个应用啊包括前面有说到基于主题模板,嗯,包括脚本化,嗯也能够去进行快速的一个内容生产,嗯,那整个生产之后,最后一个核心的环节其实就是内容的分发,那这里我们也针对两个方面,呃,企业直播工具相关的一个,呃,一些一系列的一个能力,那就是针对企业直播,主要是偏后续。
98:01
后直播后的一些能力,比如转推,比如导播台,比如我们如果有了解这个行业的话,只要导播台里边有一些混流的需求,有一些画面布局的设置,甚至水印关键词,关键字,嗯,包括我们一些标语的一些一一些添加,其实这些能力都可以,包括我们可以支持排播表以及定时转推这样的一些直播后的一些呃一些能力,嗯,当然还有常规的一个内容分发,就是基于主流的一个平台去做内容分发,那也是基于这五大主要的能力,其实支撑起了云创多媒体引擎这块,呃产品能够帮我们不同行业的一个客户能够快速的去构建自己的一个呃,内容的管理,内容的生产以及内容的分发这样一个嗯,一个平台,对,主要这就是呃,原创所带来的一个核心的一个能力的一个体现。那展开来讲的话,原创这里的话,主要的一个能力之一啊,就是我们提供了一个规模化,模板化的一个内容生产模式,那在这个模式里边,我们核心是通过两个手段去进行赋能的,那首先第一个就是。
99:07
多种的一个资源的一个录入,以及上云的一个方式,包括嗯版权素材库的一个引入,那第二块的话就是我们整个主题模板资源,以及对应的模板和素材的生产工具,嗯相结合之后的话,其实我们为企业可以提供嗯两个嗯非常具体的一个落地的一个场景,那第一块的话就是可以基于我们呃定义好的一个呃模板的一个规则,可以自动化的去生产呃内容,这样的话就更高效,效率更高,而且适合的是我们在嗯短短时间期,短时间期内要大批量的呃生产呃一定的一个规模化的一个一个一个一个内容,那第二个场景就是我们生产为我们定义我们自己的主题模板之后,可以提供给我们的客户,让客户利用模板能快速的生产自己的一个内容,所以这也是我们为企业提供的两个核心的一个落地场景,嗯,所以这块主要是在内容生产这一块,嗯,那如刚刚说的另外一个。
100:07
呃,很重要的一个场景就是云创可以提供的也是一个线上协同,那这里的话,嗯,主要是线上我们可以构建我们的虚拟团队,在线上的虚拟团队里边,我们就可以进行跨地域,包括呃,多部门多组织的人员之间的一个实时的一个线上的一个互动,以及实时的线上针对内容的一个嗯审阅,以及嗯,以及多多角色之间的一个流转,相关的一个能力,那这也在也相对于传统的一个。整个内容生产的工作流的这么一个完整链路上,它的一个效率是大大的提升,而它所需要投入的一个时间成本也是可以极大的一个缩减,那这块的话,其实现在也是我们这块儿很多媒体类的,包括广电类的客户,嗯,都会重点去在呃,使用到而且关注到的一块儿的一个能力,嗯,我们线上协同的一个一个效率,当然协同本身也是在内容生产环节中啊,很重要的一块,对,嗯。
101:07
第三部分呢,其实就是。针对刚刚有提到的嗯,云创提供的另一块儿主要的一个一个能力,嗯就是在直,就是在我们企业直播嗯相关的场景里边,我们提供了一系列的一个能力,那对直播来说,其实呃核心两个嗯两两两头的一个需求就是输入和输出嗯,那在直播输入这一块的话,嗯云创是支持了呃几乎全类型的一个呃文件的一个录入,比如实时的一个一个码流,包括我们嗯一个直播的一个直直播流,嗯其实都是可以导入的,包括点播的一个列表,点播的一个文件,嗯同时也支持嗯录屏嗯以及会议录制相关的一个内容,那导入之后的话,我们也提供了完整的一个直播嗯的一个控制台,在我们的整个导播台里边,包括我们云转推,嗯,转推直播转推里边提供能力,就是像刚刚说的多入内容的混流啊,我们整个直播画面的一个一个一个排排版啊,嗯,包括我们去。
102:10
去定义我们自己的一个嗯直播的一个内容列表,整个呢,定义好之后,我们可以实现嗯一键转推的一个效果,也就是可以把我们发起的直播可以一键转推到多个直播平台,从而实现开播之后多平台同时啊去进行我们的一个直播活动这样的一个目的,嗯那同时在转转推这一块,我们其实也是根据行业客户的一个要求,除了一键转推直接去进行多平台转推之外,我们也提供类似定时转推这样一些能力,这也很适合于我们类似一些定时定点的一些直播,嗯直播场景,比如我们的直播课啊,比如我们定时场景去呃进行的一些嗯直播性的一些内容的一个宣传,这样的场景,其实都是嗯比较实用的,所以这是我们在嗯云创在直播相关的一个嗯核心能力的一个体现。
103:03
那嗯上面的话,其实嗯就比较嗯比较简单的给大家嗯分享了一下原创的呃核心的三块主要的一个内容,嗯就是我们可以基于我们的模板以及我们工具,能够规模化快速的去进行线上的一个内容生产,我们可以基于我们线上的协同的一个能力,嗯能够整体提升我们线上内容生产流转的整个过程的一个工作流的效率,嗯同时我们基于我们直播相关的能力以及分发能力,也可以覆盖我们针对内容最终环节的一个嗯应用环节环节的一个需求,主要是这三大块的一个能力啊那接下来可能大家也比较好奇的就是嗯有这么多能力,我那我有哪些方式可以提供给嗯咱们客户去使用,那这里的话,嗯,我们主要提供的也是,嗯,两种类型的一个接入的一个方式,嗯,首先第一个就是标准的一个SARS模式,SS这里的话其实也是有类似两种模。
104:03
式,嗯第一个的话就是标准的SaaS模式买来呃即买即用的模式,就是在云创官方的平台,通过嗯订阅我们的会员就可以使用云创全部的能力,嗯,这是一个即买即用的模式。那第二个模式就是我们针对嗯嗯saaras这一块,我们提供了一个更嗯更加契合我们B端企业的一个场景,就是我们的saras平台提供嗯客户自定义自己的一个域名跟logo,那当你完成自己的域名自定义之后,将这个域名嵌到啊客户自己的平台上之后,就可以实现我自己的平台上能够直接呃跳转应用啊与云创的所有我平台所有的一个能力,那对于我们的一个用户端来来播,就是咱们企业的啊用户来说,它的一个感官上也是完整的,在咱们自己的一个平台内,嗯,所体验体会到所有的一个能力,因为域名的logo都是体现咱们企业自己的,嗯,不会有多平台去跳。
105:03
这样的一个一个感受,所以这是SARS这一块的一个模式,它更轻更快,用起来更方便。那第二种模式的话,其实是基于嗯,基于我们某些客户,它有一定的开发能力,嗯,它也有更多的一个嗯需要去自定义的一些需求,所以我们提供SaaS API的模式,就基于我们提供的嗯,API一些接口能力,我们的一些嗯,嗯组件化的一些能力,用户可以去自主的研发,在自己平台上去搭建,嗯原创的相关的一个功能模块,然后在自己的平台上去进行,按照自己的要求去进行一个开发的搭建,嗯,所以这是第二种模式。所以整体来说,嗯,对于一般嗯没有平台的一些客户,或者说是只希望购买或能快速使用的,其实就是比较适合于标准的一个SaaS模式,有一定开发能力的,有更高的一个嗯资金要求的,就可以通过我们SaaS API的模式去进行一个接入,所以这是我们主要的一个服务接入的一个模式。
106:04
那整个嗯拉通来看的话,嗯就如刚刚前面所呃说的,其实云创主要是想助力大家去构建自己的一个内容生产及消费的一个平台,那这里边的一个嗯核心的能力其实就有几方面,嗯首先呢,就是我们在内容构建之前所提到的最基础的一块儿,就是我们所有资源的一个获取,以及呃上云以及在云端的一个管理,所以我们提供的是我们整个腾讯嗯云创里边的云媒资相关的一个功能模块,那有了所有资源之后,其实就是我们线上的一个内容生产,所以我们这里有呃提供了一个云剪辑相关的一个能力,那生产之后的话再分发使用这一块的话,两个类型,针对直播场景,我们提供直播的导播台跟转推相关的能力,针对整个视频平台的呃分发,我们就有我们整体的一键分发,包括我们已经兼容了主流的一个呃内容,内容平台相关的能力,那最最。
107:05
通的话,这里其实我们还有补充的一块能力,其实就是我们的微减,其实我们针对小程序端所提供的呃内容的创作,内容的分发,这样相一个一个小程序端的一个能力,嗯也是可以有多种的一个接入的一个方式,对所以整体来看呃云创的定位都是围绕企业线上的一个呃内容生产,以及最终使用嗯相关的核核心核心诉求去搭建的一系列的一个能力,对嗯。简呃简单,呃内容嗯内容相对来说比较精炼一些,所以我的一个主要给大家要分享的,包括介绍的原创的一个能力,嗯,主要是这些,嗯,所以今天呃主要的内容分享先到这里,好谢谢大家,好,谢谢郭磊老师,谢谢那郭磊老师您这边要稍等一下啊,因为我们现场呢,可能会有朋友想要进行一些提问,所以接下来呢,同样是大家提问的时间,来我们现场朋友们看有没有什么问题想要提问的。
108:05
同样还是给大家五分钟的时间啊,因为今天时间也是比较紧张来,如果说有提问的话,可以举手。那位先生是举手了吗?嗯,好的好的。呃,你好,你好,谢谢啊,是这样,有一个简单的一个问题啊,我就是想可能这个问题比较小白啊,但是我还是想问一下,就是说基于这个技术的话,是不是我比如说我比如我是做产品的啊,或者说我做运营的,我只需要有一个idea,一个好的一个产品模型,一个业务模型,我就可以用你这个技术来帮我搭建我属于我自己的这个直播,基于微信小程序所谓的这个,还有基于不同的平台,跨平台的这个,呃,这个这个整个这一套的这个体系,对,就是基于你的这个目前的这个,呃,你刚才讲的整个这一这一套东西,因为你是可以打通不同的直播平台嘛。
109:09
嗯,对的,谢嗯啊你说你先说完,你说这是这这是这这是这个问题,嗯嗯嗯,OK,嗯是这样,首先刚才不好意思啊,有点听的不太清楚啊,但是呃,我大概听到咱们的问题,嗯就是云创现在的一个平台啊提供的能力,嗯就是不管是云创本身的平台,还是我们那个微检的平台,在整个内容制作这块的话,其实是可以进行像刚刚说的,可以简单的跟咱们业务的平台进行打通,来实现所有的一个能力,在直播这一块的能力,我们现在主要是云创,嗯这个平台其实是可以实现的,包括刚刚有说到了跟各个直播平台,嗯进行一个打通,那就是我们的一个直播的一个内容,其实可以一键嗯分发到多直播平台去,嗯,但是这里的话,因为直播平台是特别多嘛,所以具体的一个直播平台可能尤其是一些,嗯,可能比较封闭或者不是特别。
110:09
流的一些平台,那是否支持的话,一般可能就要具体场景要去看一下,但是一般主流的像虎牙、斗鱼,我们知道的很多常用的,我们这边合作的,包括腾讯这边的直播平台,其实我们都是可以兼容到的。呃,您的意思就是说所谓的腾讯投资的旗下的所有的这种互娱的平台是全部都支持的是吧?只要基于云创是这个意思吗?嗯,对,这个是是确认已经可以全部支持的,呃,另外有一些直播平台可能要具体看,像我们之前有一些客户,嗯,提到了一些类似电商平台,嗯,但是他又不是京东淘宝这种特别主流的,然后拿到之后我们可能协助看一下,嗯,有一些也是可以支持的,但有一些可能因为平台的一些协议的一些要求,包括嗯,平台本身内部的一个内容保护,包括安全性能保护,可能各方面的一个限制啊,可能有一些平台它确实是不能够把外部的一个直播链路直接导进去的,所以这块的话可能都是需要具体看,如果咱们有需求的话,可以呃,会后可以我们呃可以单独具体来聊一下,好行行行行,嗯嗯。
111:15
好的,谢谢,同时也谢谢各位老师的解答,好,现场还有朋友有其他问题吗?郭老师,就是我们这边啊有一个小游戏,然后呢,我们提问的朋友呢,是可以获得一个贴纸的,然后因为您啊,对,因为您就是没有办法来到我们现场嘛,那么这边呢,我们就帮您把这个贴纸送给这位先生了,好不好?嗯,没有问题,没有问题,可以好的好的,谢谢来谢谢这位先生的提问啊,同时呢也谢谢各位老师给我们带来的精彩分享,谢谢您好,各位老师,您可以休息了,谢谢谢谢,好好谢谢好,那么再一次感谢我们四位嘉宾给我们带来的精彩分享啊接下来呢,就到了我们茶歇的时间,现场朋友呢,现在可以去啊喝口水啊,上个厕所,那同时呢在后方的区域我们给大家准备了精美的茶歇甜品,大家可以去到那边来进行的品尝,同时呢,在茶歇时间大家可以去找到身边的小伙伴来进行沟通和交流,那么大家可以赶紧找到能够和自己拼成正确答案的小伙伴,然后呢完成这个调研问卷,在活动结束的时候就可以去到游戏区来领奖,同时来有请,对,我们已经把这个屏二维码已经放在屏幕上面了,如果说还没有进群的朋友赶。
112:40
赶紧拿出您的手机扫描屏幕上的二维码来进入到我们的群聊里面,那刚刚也说到了啊,像我们的专家老师呢,都会在我们的群里面,所以呢,大家不管是在活动的时候,还有我们活动后有任何的问题想要进行学习和交流的,都可以在我们群里面来进行交流,所以大家赶紧扫描屏幕上的二维码来加入群聊,好的,欢迎大家回到我们的现场,那么继续开始下半场的主题分享,接下来我们要有请到的是腾讯云高级技术产品经理张思静,给我们带来一体化平台助力数字媒体行业发展新思路的主题分享,那现场的朋友接下来掌声有请,张思静老师有请。呃,现场的各位朋友好,嗯嗯,非常遗憾,也是因为深圳这边疫情的原因,不能去到长沙的现场跟大家当面的进行交流,呃,因为我本人其实也是个长沙妹子啊,所以这件事情确实。
113:40
对我来说是一个双重的遗憾,但是还是今天希望能通过线上的方式,仍然给到大家一些呃新的思路,帮助大家了解一下我们的一些新的产品。好,呃,我今天分享的主题是云生一体化平台助力数字媒体行业发展新思路。那这个标题中提到的云原生一体化平台呢?就是由我们腾讯云云开发团队与微信团队合作共建推出的两款产品,第一个是云开发cloud base,第二个是我们刚刚于这周全新上线的微信云托管。
114:19
We chat call wrong。呃,我今天的分享大致分为三个部分,首先我们要来看一下,呃,就是数字媒体行业在开发小程序、APP以及这些移动应用的时候,可能会遇到哪些问题和挑战,也是我们希我们团队希望能够为开发者解决的哪些问题。第二个是对云开发和云托管两款平台的一些具体的产品介绍,最后我们精选了云开发和云托管在数字媒体行业落地的一些实践案例,让大跟大家来做一个分享。前面其实也有好多位讲师有提到,特别是在呃疫情这个大环境的助推之下,现在线上应用的发展是呃如火如荼,特别是微信小程序,因为能够借助微信本身强大的渠道能力和影响力,也是实现了一个非常快速的增长,大家现在随处可见走在路上的时候,各种活动也好,或者是各种宣传都是诶有一个码挂在这里,只要微信扫一扫就轻松的可以进去了,然后同时小程序的开发者生态也是迎来了,引来了一个非常大的爆发式的增长,突然一下就是在网上就经常会有人看到交流说诶我也想开发一个小程序,然后我想实现一个什么功能,到底要怎么做?呃诸如此类的讨论,那我们今天就挑一个比较典型的案例来来解,来看一下,就是在开发小程序的过程中可能遇到哪些问题呢?
115:56
比如说呃,现在可能很多小程序都会想要做一个实时互动抽奖的功能,比如说今天现场也有发很多的奖品嘛,然后我们做业务的推广的时候,经常也要配套这样的一些营销手段,那么做一个实时互动抽奖功能也许还比较简单,网上有现成的案例可以参考,那如果在前面加上百万级这三个字呢?
116:22
什么样的一个?后台技术架构能够支撑百万,一个百万级的在线实时互动抽奖呢?我们现在就来拆解一下这个功能需求。这个需求。初看起来似乎很简单,着凉。配合几天就可以搞定了,首先我需要一个前端开发者去完成前面的交互,然后前端有可能是小程序,也有可能是外部端,也有可能是APP端。然后我还需要一个后台开发者来实现一整套的后端服务,为前面所提到的多个前端提供接口支持,然后在后台服务这一部分,呃,对外跟前端交互的是API层,然后中间是我们的呃业务服务运行底层的底层的资源,我们现在可能会选择一些云上的数据库,同时还要搭配一些呃云主机或者一些其他的云上产品来实现这一整套的功能,好,那。
117:24
代码有了,架构有了,那我的这个小程序是不是就可以直接上线运行了呢?等到真正面临落地、面临实战的时候,就会有很多在开发过程中意想不到的问题纷至沓来。比如说。如果有羊毛党冲进来薅羊毛怎么办?羊毛党薅羊毛就会短时间对整个程序产生损失非常高并发的流量冲击,那如果后端的资源不足,比如说我们因为对这个流量的预计不够,呃,采买的资源少了,导致短时无法响应,可能会导致整个小程序或者线上业务直接崩溃。
118:05
第二个秒杀抽奖的高流量高并发怎么抗。除了。除了本身高呃多人参与的高流呃会带来很高的流量之外,并发也是另一层需要考虑的问题,就是有多个人同时点击的时候,到底如何处理这种情况。第三个是保障百万用户互动的实时性,因为像抽奖或者是抢红包之类的活动,你就必须是要顺时给到用户这个反呃,一个及时的反馈,差之毫厘,可能这个红包或者奖品就已经没有了,得出的呃,得出的结果就会千差万别。用户,比如说用户以为他抢到了这个奖品,其实因为中间有了延迟。呃,库存已经没有了。导致最后这个结果匹配不上,也是很难去交代的。第四个。我的后端接口被压垮了怎么办?因为我可能所有的业务都是按照传统开发模式,我可能都把它们集中部署,比如说部署在一台服务器上面,那么我可能短时抽奖的功能,这个小程序涌进了大量的用户。连带的把我其他业务也。
119:15
也遭殃拖下水了,那这个损失又是,呃,更加的难以估量,最后硬件出故障了怎么办?那可能我们前面有前端开发和后端开发的同学,可是不是专业的运维或者硬件工程师也是没有办法保障底下的基础设施的。以上的一切一切还都可能带来比我们想象的更多的一个烦恼,即便是一个非常简单的功能。啊,前面我们提到的这些烦恼,其实都跟业务本身,呃呃本身是没有关系的,就是它不是纯靠代码能够去解决的一些烦恼,但是我们看一下,不管前面的业务具体是什么,不管你做的是一款小程序APP,你想实现的是抽奖、直播、小商城还是小社区,前面所提到的安全问题,防刷问题,扛高流量和高并发的问题,其实这些都是共通的,而且这些问题看似简单,但是确是需要长时间的技术积累,技术投入,甚至是经验的积累才能够完美的解决。呃呃,简单来说就是你可能不经历过几次现实的考验,就没有办法把所有以上的问题全部暴露出来,并且能够在反复的实践摸索之中形成一套行之有效的解决方案。那么,所以到最后,可能你要实现这个业务,缺的不只是一个程序员,而缺的是这些无法短时间产生的技术。
120:44
积累和经验教训。那么于是我们团队就在思考一个问题,这些共通的软实力是不是可以服务化呢?服务化的意思就是可以交给专业的一款产品,或者一个专业啊,或者专业的一个专业的团队,把这些能力可以集中在一起,实现以后,让所有的开发者可以非常低成本的就去使用上它,不需要我亲自来了解。
121:12
这个里面的原理是什么?只要能够助力我的业务,帮我屏蔽掉这些烦心的事情,可以让我只专注在我的业务发展和呃,业务发展和规模增长之上,那么就可以达到一个极大的降本增效的目的。那所以呃云开发,腾讯云开发团队和微信团队就一起共同的打造了这个云原生一体化的平台,云开发和微信云托管,我们希望是可以从这几个方向去帮助各呃帮助开发者。获得更大的成功。第一个就是我们希望能够帮助数字媒体行业去专注你们的业务逻辑,应该把宝贵的精力放在我如何设计呃,我如何设计一款对用户有吸引力的业务以及有商业价值的业务上。第二个就是我怎么样可以快速的落地多端应用,包括但不限于小程序、APP web h5呃,甚至是其他的一些端,不把时间浪费在反复的部署和多平多平台的磨合之上,有一个统一的后端服务就可以轻松实现多端支持。第三个就是除了能够带来一些开发上面的技术好处之外,如何能够更加深度的融入微信生态,利用呃,利用微信本身的影响力和覆盖面,更大的程度的放大我的业务影响力呢?以及最后就是开发者和呃企业永恒关注的四个字,叫做降本增效。
122:51
那么呃,由腾讯云开发团队和微信团队共同推出的云开发和微信云托管两款产品,我们的目标就是提供安全、高可靠、高并发、高性能的通用后端能力基础,同时业务可以自由实现任意的功能需求。
123:12
那就是。助力,希望能够助力数字媒体行业能够站在巨人的肩膀上,就是能够直接开箱,即用前人和和腾讯多年积累下来的技术实力,直接以服务化的方式能够享受到享受到这些技术红利,而不需要自己从头开始摸索,专注业务,专注业务竞争力的竞争力本身的提升。呃。我们这个云原生一体化的平台下,旗下包含了两款产品,第一款是叫云开发cloud base,然后它的入口是,呃,如果大家现在开发小程序的开发者都清楚哈,你们一定会要用到的一个东西,就是由微信官方提供的微信开发者工具,那么进入微信开发者工具并开通你的小程序之后,就可以在上方菜单里面找到云开发的控制台和开通入口,那么整个云开发产品的架构图就是这里一些,它中间包含手,我们从上到下来看,就是这款产品到底包含了一些什么功能模块,以及能够做一些什么事情。首先是在前面是支持多端的接入,就是微信QQ,呃,微信微信小程序,微信的公众号,还有H5页面,QQ,包括QQ小程序we部,就是一般的网站应用,还有呃,还有就是手机,手机的APP一个后端就可以为。
124:45
所有的这些多端提供服务支持。然后下来。云开呃下来云开发集成了云函数,提供计算能力,运行你的业务代码,云存储就是cos和CDN,提供存储文件、视频、图片等等资源能力,云数据库flex DB提供呃基于非关系型数据库的数据库运算能力,以及。
125:16
云应用就是呃,一个容器的能力就是把一款你要你要开发一个完整的后端服务所需要的基本三大件,计算,存储,还有还有数据库,在开发一个平台里面就一站式机场。你嗯,就不用到云上去,分头开通很多款产品,并且花费很大的精力把这些产品全部都串联起来,并且日常需要在多个控制台之间跳转连接,同时因为我们把这些基础能力全部都沉淀在了一起,并且在此之上封装了更多应用层,更多常用的应用能力,包括用户管理,数据管理,函数管理,静态托管就是静态网站托管。
126:01
还有统,还有统计分析、日志管理、告警策略、消息服务、身份授权等等常用的能力。以及还如以及为有更多。行业特色的。小程序及移动端业务提供图像处理、图像安全、图像标签、水印、运营平台、短信服务。短信服务就是你可以呃给你的用户发送短信,中间包含你的小程序唤起链接,更加激活你的小程序用户群,并且提高用户粘性等等的这些能力。同时对于呃,同时从开发者体验角度,云开发提供了官方的多种语言的SDK以及开发者命令行工具cloud based framework。总这样的话,对于小程序的后端开发来说,有了一个云开发,所有的问题都可以在这里一站式解决。
127:02
与之相对的另一款产品是微信云托管。微信托管是我呃我们是在6月21号正式正式上线,并且会在六月八二十八号的时候通过呃微信开发者这个公呃公众号。推出我们的新品线上宣讲会,嗯,有兴趣的朋友也可以到时候关注一下,我们会有更加详细的介绍。那微信云托管它的本质是我呃我们云开发和微信团队一起推出的新一代的云原生应用引擎,主打S和呃和K8S的混合能力同样也是在前面,能够支持小程序、公众号、外部网站应用以及APP的多个前端。和云开发的区别就是云托管会更加贴近传统后端开发者的习惯,因为你可以直接无缝的使用原来的传统的开发语言和技术站,包括但不限于Java和spring doubles和spring double等微服务框架,以及PHP和think PHP这种常见的开发开发模式。
128:12
云托管的底层是,呃,基于。基于容器化部署的同时,和云开发一样,也集成了安全防刷域名备案。监控告警、日志管理cicd持续持续交付、持续集成,多环境管理。关系型数据库灰度发布和公网访问的这个能力,底层的计算、存储、网络资源也是不需要开发者自己来,不需要开发者自己关心,就可以完全专注于自己的业务开发,把一切基础平台的能力全部交给云托管平台即可。同时呃云开发和云托管都有一个微呃特有的微信生态能力,因为我们是和微信团队。
129:00
共同开发构建的,那就是你的后端服务,如果是通过云开发或者是云托管来调用微信的open API的话,是能够享有免健全和加速的两个好处的。那这两款产品其实他们的理念都是非常相似的,我们希望把开发者常用到的所有的能力贴合小呃,贴合微信生态应用开发的一些特色,在一个平台里面做了一站式集成,这样就让大家可以更加方便的呃,更加进行更加方便的使用,同时因为我们是基于云原生的理念,那么这个平台的。呃,基于云开发或者云托管平台所搭建的后端服务,跟传统的服务器相比,可以做到按量伸缩,甚至缩容到零,就是如果你前端有请求过来的时候,那根据请求数的多少,后端的服务能力是会实现自动的,自动的扩张和自动的收缩,那就是业务高峰的时候会扩张出更多的服务资源,等到业务,呃,等到业务相低峰的时候,你就可以以最小呃,可以以最小的资源去运行,而不需要有一台服务器在那常住,产生资源的冗余,然后最呃,然后最。
130:17
极端的情况,如果你的服务没有产生任何的调用的话,甚至可以直接缩到零,就是你不需要付任何的费用。我们接下来就详细展开看一下,就是我们前面有提到的,就是开发和云托管的平台,能后面自带的微信生态的优势。就是免免健全和加速调用微信的API以及前面入口,因为走的是微信私有链路带来的安全能力。什么是免权呢?我们看一下这个两种方式的对比。在传统开发模式之下。你的小程序如果是需要调用后端的API的话,是必须要有四步走。
131:03
大家看一下这个时序图,第一步用户端的小程序要调用微信点log获获取一个获取一个code,然后第二步需要通过微信点request,将这个取得的code传递给你真正的后端服务器,后端服务器是拿到这个code以后,要到要跟微信的服务器进行交互换取的,换取微信用户的独有的标识open ID和和这个session key,最后后端服务器把这个用户身份标识发送给小程序本地存储,然后才能实现一次完整的调用,这个中间对扣的还有open ID,还有session的这样一个交换就其实是一个健全过程,为了保证整个调用服务的安全,那么如果是用云开发或者云托管的模式呢?因为云开发和云托管是跟微信的服务器之间是走的微信的私有链路进行调用,而不像。
132:04
自己的服务器和微信之间是走的公网通信,所以天然的是具天然的,是具有可信赖性和安全性以及可以及可靠性的,所以就可以省去这些繁琐的交换和健全步骤,只需要一步就好,你可以你可以拿直接一步到位,拿着用户的open ID和用户信息,直接在请求的时候就把它给传入进去,不再需要进行健全了。第二个微信,呃,第二个微信生态的独有优势是私有链路带来的安全和高性能性,好,我们这个还是一个对比图哈,在传统的这种开发模式之下,你的前端和后台之间需要进行调用,这个请求是走公网的,那么这个请求暴露在网上就可能带来一系列的问题,比如说你有可能被恶意的DDOS,你的这个公网接口可能会被别人扫描,被别人攻击,同时你的请求可能就会受到公网网络的延时或者波动带来的一系列的影响,然后这个部分是非常不可控,也很难去治根去把它解决的。当然现在市面上也有一些相关的安全方案可以让你去减轻,呃,可以减轻受到攻击,或者是说减轻网络波动或者延迟带来的影响,但是以上一切都是只能缓解症状,而不是能根本消只只要你的这个调用链路走的是公网,以上问题就是不可能被彻底根除。
133:34
那么在云开发和云托管的这种模式之下,小程序的前端和后台之间不再是走公,不再是走通过公网进行调用,而是有把请求打到,通过微信的私有链路打到,云开发的后打到。云开发的后台,然后再通过微信和腾讯云之间的呃,内部的专线直接直接打到后面,整个过程中间没有公网的参与,那么前面所提到的因为公网,呃,因为把接口暴露在公网,所带来的可能会受到攻击,可能会流量波动的一切问题就不存在了。这就是微信的私有链路给云开发和云托管开发模式带来的独有的安全和高性能的加持。
134:26
同呃同时呃,这个其实云开发和云托管就是有别于传统的基于服务器,呃可能是本地服务器或者是云服务器开发的一种开整个的开发模式和开发理念的一种革新。那么对于新上的业务来说,呃利用云开,用云开发的云函数,你可以非常快,可能在十分钟之内就可以上手搭建一个简单的小程序后台,那还有很多的存量业务,现在已经是运行在服务器上面的,然后然后希望说能不能有一种方式,我能够把它迁移到云开发或者是云投感知上,好享受前面的这些微信生态的优势,以及呃弹性伸缩,按量计费,大幅降本增效的这个能力呢?因为我们前面提到微信云托管的底层是基于容器和K8S,所呃基于容器和K8S搭建的,所以呃,由容器化这个技术所天然带来的一个优势就是我们可以做到跨平台的无。
135:28
那怎么叫,怎么是一个跨,呃,怎么是一个无痛迁移呢?就是对于你前面的前后端来说,前端的。改造改造成本,原本你的接口呃是要用微信点request的方式,然后通过公网域名去请求你部署在服务器上的后端服务,那么现在如果你的后端部署在微信云托管上面的话,就把新接口改为微信点。w.cloud.co container填入你在云托管中创建的服务名和调用pass即将呃其他的前端小程序前端代码都可以不做改变,然后对于后台来说,如果你原本的后台服务已经是容器化,就是你可能现在已经在使用呃腾讯云的t ke或者是其他云厂商的一些呃容器服务,或者是你自己有搭建过一个K8S集群,你现在所有的服务每次都是会先呃通过docker build打成一个镜像,然后进行部署,那么对于你来说,拿着这一个镜像直接。
136:32
在云呃,可以直接在云托管上进行部署,不需要任何的修改,因为你本身就已经容器化了。然后同时云托管是兼容生态的,就可以更好的做到无痛迁移性,然后如果你原来如果你的后台代码还没有做容器化,就是可能现在还是用传统的方式写,然后部署在服务器上的。那么从传统应用改造成容器化来说,呃,绝大部分情况下只需要增加一个docker file就可以了,这个docker就是配合容器所使用的,呃,用于容器,用于把你的代码构建成镜像的一个配置文件,那么其就可以实现把你的传统应用变造成。
137:14
改变成一个容,变成一个容,容器化的,容器化的应用,然后云托管也提供了这样的一些各种语言的官方的模板,帮助你快速进行这个改造。好,我们前面介绍了这些。接下来这些产品之后,下面我们就来。下面我们就来看一下云开发和云托管在数字媒体相关里面的一些实战案例吧。啊,前面我们所问到的这个互动互动抽,呃,互动抽奖的这个功能,其实来源就是我们腾讯游戏的一个案例,那当时就为了实现这样的一个效果,那可能大家可以猜一下,这样的一个案例实现到底需要多少的工作量呢?是几百行,几千行,还是多少的代码呢?
138:02
其实答案是只有一个人,几行代码就可以了。因为把因为所有的能力都已都已经由云开发,高度的集成,只需要进行简单的调用就可以实现一个百万级抽奖功能,并且它的安全性、可靠性和扩展性都是得到了保障的。第二个案例是只想直播之前碰到的问题也是呃,一些常见的,可能会受到攻击,可能会受到一些高并发,高流量,甚至会有一些干扰,同时因为资源层没有做隔离,会导致直播业务互相之间受到影响。那么借用云开发和云托管的这套模式,天然自带的多多多租户隔离就是原本的一个大一统的模式,通过租户隔离的方式进行分隔,保证了他们互相之间可以分别弹性,呃,分别弹性扩缩容。以及互相不受影响,为每一个商家都可以提供一个独立定制的直播间。
139:03
接下来的一个案例是蒙牛创造营,也是一个非常典型的,因为创造营的打投就是一个损失高并发,需要很多人涌进来投票,而且结果需要实时反馈,如果是被刷了的话,可能会引起很大的业务损失和舆论风险。那么就是通过前面提到的微信链路的这个案例,小程序通过公网保证了被防刷又。又能够保证了安全性。接下来的案例是微信支付的,也是因为走公网,受到了网络波动延迟,可能小程序就打不开,那么有了这个加速的能力以后就可以完全呃,就算在弱网环境下,也可以支持小程序的秒开。然后这边是开发和云托管之前的一些相关的合作案例的一些,呃,厂商,就是我们已经广泛的在各行各业有所。有所落地,然后服务开发者已经到了百万级级别,有着丰富的行业经验和落呃有的丰富的行业经经验,然后呃承接过呃非常复杂的业务挑战,然后是值得各位开发者信赖的。
140:11
好,我今天的分享就到这里,感谢张思静老师给我们带来的精彩分享,谢谢。好的,那么接下来呢,继续到我们今天的主题分享,我们接下来要有请到的是腾讯云专家工程师张斌,给我们带来ES在腾讯直播业务中的应用及成本优化的主题分享,那同样跟前面两位老师是一样的啊,那我们张斌老师呢,也是人在深圳,所以由于疫情的原因不能够亲自来到我们现场,我们同样还是通过现场连线的方式来邀请到张斌老师,好,我们看一下现在已经连上了吗?好了,是不是好,我们看一下啊喂,张明老师听得到吗?喂,可以听到啊,好,欢迎您,欢迎张明老师,好,那我们也有请现场的朋友掌声欢迎一下张明老师,欢迎,谢谢大家,谢谢主持人。
141:10
长沙的小伙伴大家下午好啊,非常遗憾由于深圳的疫情没能到现场与大家见面,对,但是希望后面有机会还是可以和长沙的,嗯,各位开发者能在线的进行交流。嗯,我今天分享的主题是腾讯ES在,呃,我们腾讯直播业务中的一些应用,还有它的一些成本的优化,希望能对大家有所有所帮助,对,我是腾讯云以来search团队的负责人,对张斌也可以叫我伊森。好,我今天主要是有两个部分,第一个部分我会讲一个对在ES在直播业务中的一个应用场景,对,然后第二部分着重讲在这个场景中,我们ES是怎么帮助直播业务做它的这种成本的优化。
142:01
第一块就是大家嗯,做直播业务的销售伙伴可能知道,就是我们直播业务呃会经常因为就是我们的呃端的问题,比如说手机或者pad的CPU的问题,或者一些特别多的网络问题,比如说丢包,网络延迟,然后影响我们这种呃不管是直播游戏还是会议的一些质量,对这种问题经常会呃遭到客户的投诉,所以我们的一些直播的质量保障团队。需要有一套系统来分析,嗯,到底这个问题出在哪里,来帮助客户,或者帮助这种研发产品,研发团队能快速的定位问题,对。然后在嗯过去的话,腾讯的一个直播业务,呃,它没有采用ES这套架构,对它是用了一个呃基于鲁迅的呃自研的一个数据引擎,做这种呃这种数据的存储和搜索,对然后前面就是比较经典的这种呃大数据接入,包括APP的质量数据上报到接口机,然后通过卡不卡的队列,然后接到他一个自研的这种数据接入服务里面,在这里面它会做一些数据的清洗过滤,以及这种code的转换,对最后在这个存储引擎里面做存储,然后同时它有一个这种质量分析平台,就是在上面可以做一些呃这种售后的查询,或者一些出一些的看板,从这种多位分析的角度来帮助团队快速的定位某些问题,比如说某个版本的bug,或者某个地域的网络问题等等。
143:40
嗯,但是嗯,这套系统在这种呃,特别是疫情期间流量暴涨的时候,其实承担了很多的一些呃压力,对比如说这种可用性的问题,对,因为在这种高写入吞吐的情况下,这种可溶性很难保障,另外是它的性能是不是能达到我们的要求,因为就是有时候它的呃性能不高的情况下,数据会大量的堆积在这个卡卡队列里面。
144:08
对,造成可能就是呃,我需要分析的数据和我已经采集的数据达到有半个小时之久的这种延迟,这对于售后团队做分析的呃,卡点是比较大的,对另外一块是扩展性,就是整套系统是不是能特别快速的方便的去拓展运维,对,就是因为可能我们之前做了很多系统,其实在于这种呃横向或者纵向的扩展方面做的不是特别的完善。对,最后是就是整套系统它的这种易用性的问题。所以就是在看到这些问题之后,然后我们嗯,很快帮助他们做了一个切换,就是做切换到了这种腾讯ES的这个架构上面对。就是包括比如说腾讯云的search,它其实是基于鲁迅的一款分布式的这种呃数据查询搜索的引擎,对它其实很多的,它的不管是它的存储的这种数据结构和它的一种呃搜索DSL其实和鲁迅是是一样的,对,但是它在上面嗯做了很多这种产品方面的升级和优化,对这个后面也可以讲到,对另外的话,它的这种嗯生态也是比较丰富的,它自己就有很多这种包括接入端和和UI展示端的这种组件,比如说这个lost dach,它是它的生态里面的一个接入端,就像上面资源服务的啊,很多接入的动作,包括可能我对接卡不卡,然后对接red myl这种数据通路,它都有自带的这种input的插件来实现,也包括我的这种嗯,过滤的过滤,或者我的一些啊格式的扣带。
145:54
转换对都有相应的插件可以完成,对这种对于这个业务开发的简化非常快,因为这个系统切换可能只用了两周的时间,对,所以就是。
146:06
在附重大大部分原有的架构基础之上,只是采用了很多新的组件,不需要做一些代码的开发,马上就是上线了整个系统。对,包括它的这个T巴,它的T巴这个数据展示的这个组件,可以在上面很快速的出一些嗯,DA的图表,或者一些分析的图表,嗯,可以辅助原来的这种质量分析平台,因为他可能产品经理或者运营的同学可以直接在上面去通过鼠标点击去配,不用那个开发去重新给它做一个模块,对。好,后面就是呃,讲一下这个在成本优化这一方面,对,因为我们知道像上面的这种云直播的这种监控系统啊,其实它的这种写入量是比较大的,对,因为它嗯,除了有一些这种原数据的写入,可能还有一些这种,比如说一些错误日志啊等等这样的一些信息。
147:03
对,像可能呃腾讯云一个自有的直播业务的监控,它就是基于ES来做的,对他呃过去的话,它有一套ES的自研的一个集群,对,然后我们帮他去评估一下它的一个成本,就比如说他单集群的写入速度可能能达到千万级每秒这种恐怖级的流量,对而且它的业务至少要呃保留半年的数据可查询,因为它有一些呃它的一些监控需要做一些呃这种业务上的统计分析,对所以我们就按照他的这种业务要求,大致帮他算了一下,就是呃就是我们腾讯内部用的那种物理机,呃有那种呃30多盒的那种物理机,大概要1500台。对,这个对于它的成本来说是非常恐怖的,因为这只是呃可能某一个集群,这个集群可能只承载某一个地域,对,因为我们还有腾讯云上有很多地域,包括北京广州啊,然后包括海外的一些地域,这个对他成本来说是非常的呃,不可以接受的,对,所以他们也去嗯找到我们,然后有这种成本降降本优化的这种需求。
148:14
那我们怎么来做呢?对,首先的话,我们会对他的业务数据做一个分析,对我们观察它的业务数据会发现就是类似这种云直播的这种监控的服务啊,它的数据其实是有一些这种时间的频频次的一些分布的对,比如说最近访问的数据就是嗯,一天之内的对他的这种访访问,不管写入的流量,还有这种查询的频次是非常高的。对,但是就是一些偏历史的数据,比如说七天的,14天的,或者甚至更久的这种一年的这种对他的查询的呃,这种频次非常低,可能仅用于呃做一些这种数据,数据分析或者数据统计来对。所以我们呃,第一块这个方案就是做做数据分层,就是根据数据的这种呃,它的访问频率去呃去做了这种数据的分层存储,对,就比如说我的一天之内的几个小时的热数据,我会存到配置比较高的,就高IO的这种呃热数据的机型里面,然后呢,可能这种冷数据,比如说七天的或者14天的。
149:23
我存在这种低配置低成本的机器里面,对这样的话,在一个集群里面就可以达到这种就是热数据写入的性能和和温数据,冷数据它存储成本的一个有机的平衡。对,进一步的话,如果嗯,客户有这种存储达到半年或者一年或者甚至几年的这种要求,对我们会有这种嗯,基于costs的STEM shorts的这种方案,对他这个方案就是嗯,这一块的数据,其实它已经没有这种写或者更新的需求了,对他只是偶尔我需要查查询啊,或者偶尔我需要把它拿出来去做一下,做一些业务的回归,对这样的话,其实我们不需要把它放在集群里面,我们推出了一个呃,基于cos的这种snap shots。
150:13
对,因为对象存储它的这种呃,存储成本是非常低的,对,我们直接就是把底ES底层的这种数据文件,就second second file,以这种数据文件的模式去,呃,把它备份到Co上面。对,这个备份速度是比较快的,因为它只是备份文件,没有经过这种数据写入的各种数据处理的数据流的跳转,对。这样的话会会会大大的这种加快它的备份的速度,也降低它的成本。然后后上面刚刚说的就是包括啊,这种温层的降,嗯,数据降冷热,然后包括这种我把这种索引备份,或者甚至有一些索引干脆不让去删掉,对这些过程,其实这些分层的过程都是呃,由这种生命周期管理的功能来提供,就是我们业务并不需要太多的关注,写很多的代码,其实只是在这种我们的控制台上,对通过这种冷热的阶段做一些配置,比如说我就简单的配置几天之后我从冷从热降温,或者说几天之后我做备份,对这种是处理起来是非常方便的,只要配了这个规则之后,后面就是都是自动化的这种流程。
151:31
然后。再进一步的话,因为我们会嗯觉得就是把它备份到cos之上,虽然降低了很多成本,嗯,但是其实它回归起来不是很方便,因为我们还要把它从cos上再通过API再恢复回来,然后再查询,这个过程会比较漫长,对,所以我们嗯今年也推出了,在在7.10上也推出了这种嗯,Search snap就是可查询的备份的这种功能。对,就是我可以直接在我的呃已经备份到cos上的数据上面去进行这种这种偏分析的这种搜索,对偏统计分析的搜索,对,同时我要配合我的这种异步查询的功能,因为呃cos的话,它的特点是它的存储成本很低,但是它的这种呃写入和查询的效率是比较慢的,对,因为我们还是要读一部分数据,我们需要的数据到本地对去做一些计算,所以这个效率是非常低的,所以我们不能再用之前同步查询的接口,我们需要使用我们最新的这种异步查询的接口,就是我可能去把这个查询任务提交给集群。
152:39
但是我只是建立一个任务,后续的话,通过另外一个接口去不断的去去看这个业务查询的这个任务是不是完成了,对。这样的话,通过这种呃数据分层的方案,对,其实可以嗯降低这个业务的存储成本,打几倍之多,对,因为我过去可能需要把集嗯很很很多的数据都存到集群里面,这个需要一个很大的集群,对像他的这种半年的这种,但是现在的话,可能我们只保留一部分,比如比如说一个月在集群里面,然后剩下的我们或者直接备份,或者直接呃降了,或者放在这种可搜索的备份里面,对这是可以极大的降低这种存储的成本。
153:23
嗯,第二个方面是这种数据精度的方面,对,因为我们我们知道我们监控的数据,对其实我们历史数据可能更多的刚才讲是偏做统计分析这个。对,所以当我们原始打点的数据是比如说秒级的这种数据在做嗯,这种统计分析的时候,它的精度就过于高了,可能我其实只做小时级别的数据,我按天按周这种分析就够了,对,所以我们需要做这种roll up的这种数据上去,我可以把这种很小的点,然后会先预做一个预聚合,然后汇聚成比较大的点。所以这样的话,一个是我在后面再去做这种,呃,统计分析的时候,我计算会比较快,因为我的数据量变少,对第二个呢,同时它也极大的降低了成本,对这个根据你预聚合的这种力度,它可能降低十倍甚至百倍,这种对。
154:19
第三块是呃读时建模,对这个意思就是可能我们ES过去的话,我们是比如说在写入的时候,已经就把我们的一些呃字段,或者我们一些分词的一些方式都已经建立好了,对这个一方面呢,它的呃可能是就是写入的性能会会。会有一些损失,在在这方面,另外的话就是因为我已经建立好了索引,对这个索引也是占很多的这种存储空间的,对,但是实际上我们很多监控的一些业务,对其实它的这种字段是会经常发生改变的。对,就比如说可能,尤其是可能呃监控可能还还好一些,有一些比如说日志的业务,对,因为我也不知道我的呃业务方的日志到底是打成什么样的格式,可能可能过一个小时他就又新加了一些东西,这这个都可能对,但是我分析的时候可能有有些东西我不care,我只关注比较重要的一些地方。
155:18
对,所以我们其实就可以做这种读时间,就是STEM read这种这种这种功能,对,就是说我我我在写入的时候,其实只存储原数据,对,在我读的时候,我再去建立这个,嗯,他的ski码,就是我我读的时候会建立这种虚拟的STEM,然后去做这种分析。这样的话,其实可以至少降降低一倍的这种存储成本,因为我其实呃,我省去了这种索引的存储的开销,其实它的这种写入性能也是极大提高的。然后第三块,第四块就是数据压缩,因为就是即便是我们只存储原数据,对其实原数据它的。
156:01
存储的数据还是比较多的,对。啊,像过去的话,ES可能它只支持两种压缩算法,一种是lz four,一种是defl defl可能嗯大家就是开的比较少,因为它的比较耗这种,呃,CPU的这种性能对。嗯,所以后面我们现在呃引入了这种呃比较新的这种standard算法,就是它在相同的数据集上可以达到和delete的相同的压缩率,对。就是可以都能看到它压缩完之后的这个压缩率是基本上相近的,对,但是同时呢,它的这种啊加载时间就是它的压缩解压缩的时间啊,会比这个LG four对会会降低很多,大概是啊几十秒这个级别的对。这样的话,其实我们就是在,也是在这种压缩算法的这种性能和压缩率这个矛盾的这个方面找到了一个比较平衡的一个点。
157:00
嗯,最后一块是和大数据生态的结合,对,嗯,因为就为什么这么讲,因为ES它只是一款独立的产品,对它其实并不是一个单打独斗的状态,就是它其实ES还是偏在这种实时或者近实时的这种查询分析的上面。如果我们真的就是要那种PB级甚至更多的这种海量的数据啊,包括一些离线的数据做分析,对,其实我们完全可以把这个,呃,这种数据的链路打通,可以很很方便的把我们的数据导到我们的。各种大数据的计算平台,比如哈多have这种对,包括Spark或者我们ES也可以作为一个外部关联表对,直接参与这种离线数据的计算对或者我们也可以做一个离线计算的分析结果的存储对,因为可能一些离线的分析分析结果需要ES做一个这种存储的一个引擎,方便后面业务做这种高性能的查询。
158:04
好,刚刚是存储成本这方面对。第二部分是关于这个计算成本的优化。像直播业务可能经常会做一些这种用户行为的分析,这种分析呃,大部分是要选取多个维度去做这种,呃分析查询的对。呃,这种这种业务会在过去会有一个问题,就是它的这种呃堆内存,Java堆内存使用率会非常高,对,特别是越嗯那种type字段,就是文本字段越多的那种业务,它的这种问题越多,对我们可能统计过就是有10TB的,呃这种。磁盘它可能大概在有只有10GB左右的FST,对FST这个这个是要常驻内存的,因为它作为一个倒倒排表,为了提高它的查询性能,是要在堆内去产生内存的,所以就会产生这很多问题,就是我数据写的多了之后,我的GVM的堆内存就很高,可能我没做什么,我就已经OM了,对。
159:06
然后为了解决这块问题,可能其实我们很多的Java的这些开源的组件或者系统都会有类似的方法,就是我把一些对内的内存移到对外做这种off。对,其实ES原生也做了一些方案,比如说它有这种依赖于啊Linux操作系统的这种缓存的方法,它利用I map。啊,做这种按需的对文件的加载。这个做的呃很很清量,对,但是它也有一个问题,就是操作系统的这种缓存的策略是不能由业务来控制的,就是除了嗯FST要用,其实很多原数据,包括do value,它都需要用这块内存,对,很有可能我一个嗯比较全量的分析查询,因为要很读很多do value就是列存,然后就把我的这种倒排所的FST就移处移处内存里面。
160:00
对,这样的话,我的查询性能会有一个陡降,可能甚至会有几倍或者甚至十倍的这种查询性能的降低。所以我们做了一个优化方案,就是我们会嗯在还是在of keep,还是做of keep,但是会把这个对外内存去控制起来,就是我们专门留了一块地方去做FST,对,会保障这个这块空间,会做这种精准的这种内存的淘汰,不会因为其他的一些查询分析请求,把把这一块最重要的这块内存空间去释放。对这块做了之后呢,它的效果也比较明显,对有几个方面,一个是就是呃,内存使用率的大幅对内存使用率的大幅的降低,对会达到70%以上,因为这个可以理解,因为我都移到对外了嘛,而且我有一些呃这种开的策略,不会都载到内存里面。对第二块它的GC时长呃也也也降低了,对,因为我们也是对内存减少了,所以我做GC或OGC的时候,其实他要去呃便利的这种对象会会降低,所以其实我在一些写入查询方面的这种,不管是呃TPS还是它的延迟对都有很大的提升。
161:19
呃,通过就是刚刚这种存储和计算方面的一些优化,其实最终我们就帮助,呃,刚刚这个就是腾讯云的直播业务,极大的降低了它的成本,对在过去的话,可能他一个地域需要1500多台机器,然后后面他迁到云上做了优化之后,只需要一两百台机器就完全可以把他的业务啊去。正常的运行对这块其实对他们成本的优化比较有有帮助,对也希望我们在直播业务的这种嗯经验也能帮助在场做直播或者游戏业务的开发者们能有一些帮助或者启发。好,我今天的分享就到这里,谢谢大家。
162:01
谢谢,谢谢张斌老师给我们带来的精彩分享,谢谢您,谢谢好,那么由于时间的关享啊,接下来呢,我们继续有请到湖南知名企业芒果TV的技术总监潘建波老师给我们带来芒果TV在线业务微服务架构演进的主题分享,接下来让我们掌声有请潘建波老师上台,有请各位大家好,我是芒果TV的,呃,在线业之前是我是负责在线业务这块的,呃,我叫潘建波,嗯,啊我今天我讲的是芒果TV在线业务的微服务架构的演进,呃这块是主要是因为呃我们是去年的话,呃去年从去年开始到呃今年的话,一直在进行一个微服务的一个相关的改造,嗯,下面我就具体来说一下这个。嗯。呃,先说一下背景吧,呃背景的话实际上是呃我们服务的一个价,呃一个组织架构的话,可能大家可以,呃大概说一下,最开始的话,我们是第一代服务,呃我们称为是烟囱式的服务,烟囱的话就是等于我一条线上面的话,我把我整个的服务的,呃把我整个服务业务的相关处理的话,都是在一个服务上面做,这是最开始的。
163:18
那我们第二代的技术架构的话,就是多研囱式的,多烟囱囱式是呃随着公司的一个业务的发展的话,嗯,它是属于多条线,多条业务线的同事在发展,当时的话,这个时候是我们,我们是嗯呃常规的话,呃很多很多情况下是出现是说我一条业务线,我整个嗯整个的开发是应该是从头到尾,我可能是copy别的代码,但是我的呃,但是我的服务的加部署方面的话,呃是属于两套服务就在做,那目前嗯。第三代服务的话就是呃面向服务式的,那我是呃,我把我们的很多服务的话,是抽象层,各个各个各个子服务,再由子服务的话去集合,呃从我的服基础服务去调用,呃达到分层的一个概念去,呃提供我的服务对外服务啊。
164:08
第四代的话是共享服务是,那共享服务的话是可能,嗯,按理的就是呃,我们类似我们的SaaS服务大,呃,再包括我们的多云多平台的那种的,呃,一个技术架构。呃在去年之前,呃去年之前的话,我们大家我们的一个技术的一个呃状态的话是属于在第二代式,呃属于烟囱式的那种服务的方式,那呃出现这种情况,嗯在这个的时候,我们就会遇到还有各种各样的一些呃问题,那嗯其实我们微服务的一个呃。为为什么为呃去改造微服务,呃,微服务化改造它目的是有两个,一个是高可用,高性能,可伸缩,可扩展,安全的应用啊,这个目的的话是以拆分和服务化的为基础,将海量的用户,用户产生的大规模的访问的流量进行分解啊,采用分而自知的方式,呃方式这个的话是属于嗯。
165:03
第二个的话就是呃,基础服务的共享化,降低成本,提高效率。通过对基础的嗯,基础的服务业务服务,这是基础平台呃,基础组件的等系列的改造,达到了服务的多次复用啊通过呃。服务的大面积的应用,大面积的应用,降低整个的一个呃技术的成本。那在我们的嗯之后,我们是呃开展我们芒果TV这边就是在线业务的一个微服务的改造,那我们这呃在微改造的时候,我们就遇到了很,呃可以说是我们因为之前的一些问题,呃,一些技术大的问题,技术债的问题,呃会有一些相关的问题。那第一个问题就是。代码结构,代码结构老化,因为我嗯在我们去年的时候,我们是呃我们部门是有呃技术方面是有二将近呃30个人的样子,但是还包括产品有包括呃UI相关的呃再到技术开发的话,就是十多个人,但是我们的话服务是有100多个呃十多个人维护100多个服务,但是同样的情况是因为呃这些服务的话,很多服务是属于从我们前期的一个服务的积累啊,因为很已经有很多很多的那种烟囱式的服务,在烟囱式的那种服务在一直在推进啊,这样的话存在一个代码结构老化。
166:27
就是原来包括甚至我们的基础的一些组件的话,是在原来,原来是分成了一些什么,呃架包或者是呃基础组件到呃到去年的时候,我们甚至是没人维护,没没人维护的一个状态。也无法紧跟的变化,包括我们后面如果要去推,呃,推进后推进后面的一些服务的时候,是我们是没法在原来的服务基础上去做这些这些改造的。那这种方式的话,只有一个办法,就是嗯。技术上,技术欠下的债务,那就指的是重构。
167:02
如何去重构,这里面就实际上设计一个呃问题,一个问题就是说我们的服务里面是呃,因为每一个公司里面可能随着时间的发展或者什么会各种各样的语言,包括呃我们团,我们团队里面的话,实际上语言,呃技术语言的方面也有,也有很多包括加法的,Goon的,但是还有Python的,还有包括呃PHP的,还甚至呃现在脚本编写的相关的,那我们是去改造的话,前提就是一个规范的标准,呃呃根据我们自身的技术团队人员的一个技术特点,以及呃后续的规划,嗯Java线的话,我们是会呃采用了一个super的一个升级改造,在go浪这边的话,因为是嗯,它是属于一个最近嗯最近几年才流行起来的一个语言啊,属于也是属于我们这块的话,呃。还算比较用的比较好的,呃,在技术上面的话,可能没有没有这么多技术在上面的一个问题,这块的话就是属于我们部门,在这里面的话就是属于一个是加法和go浪的两个,呃,两个技术,两个主要的开发语言。
168:04
在技术在嗯技术规范上面的话,是引入呃双W的那些东西的话,包括代码检测啊,文档生成那些东西,形成一个规范。那第二个,呃,会接下来就是遇到第二个问题。在我们在呃,就我们前,呃前面讲到的就是我们会遇到一些重复开发的,同一类型的服务会出现N套,这是属于就是我们之前的一个,呃,我会说到的就是我们有一百十多个人维护100多个项目,但是里面很多项目它都是属于一个重复性的开发的。啊,因为。这是第三个问题,代码和配置和代码的耦合。我们经常可能会遇到一些各种各样的一些呃变动啊,就是包括一些小的开发点,或者是甚至说我就是变一个产量啊,我我在频繁的就上线呃变更啊,从这一块来讲的话,我们是嗯,实际上这个东西呃在微服里面可以有一个很通用的一个东西,就是呃配置服务。
169:03
所以我们会要后面会。第四个问题就是服务监控不完善。啊,调用链的监控缺失。上线经经常会出现各种各样的问题,产生什么波动,抖动啊那些啊,包括甚至说我上一个呃上线一个服务,我可能呃,因为有呃服务可能会有交接的情况,或者是出现人员变动的情况,这个时候我们会出现是说我上线一个服务,我甚至都不知道是说我要通知哪些人为服务变更。产生了,呃,那产生的问题的时候,我们只能是等着说有业务方来反映问题的时候,我们才能知道这个问题是出现在哪里,我们有有遇到了什么问题。这块的话我们是,嗯,在应用内的话,有一个利用普罗米修斯完成了整个监控,包括skywa那个调用链的追踪那块的,呃,服务注册以及服务发现,减少线上影响的一些问题。
170:03
后面就是这块实际上是属于呃运维其实也是呃主要是运维这块的呃,上线扩容资源分配的这块,呃这块嗯全靠运维。遇到突破流量啊,我可能是,嗯。好像我们芒果TV这里面就是主要是呃视频播放那块的,那视频播放的话,经常会有可能会遇到热剧,那遇到热剧的话是一个呃之前的话,我们经常就是遇到嗯只能靠运维去手动提前扩容的方式,那如果出了问题的话,我甚至说因为运维的人力,因为他我们这边是运维人,运维层面的话是一个运维,包括呃,他要负责很多很多服务的。那如果同时都出现了问题,那直接呃,就只能等着靠着运维了。啊,包括现在我们有些之前我们有服务,呃资源的运运用不合理,呃一个可能100或者是说呃流量很小的一个服务,我甚至都可能是申请了一个四核8G,或者是呃两核4G的这种流量的一个资,嗯一个机器包括云呃云资源去部署这个服务,再到后面可能就是出现因为运维它考虑的一个成本的问题,他又会说我一个机器上面的话,一个虚拟,虚拟机上面我可能部置呃部署了N个服务,那如果我突中间的话,有一个服务出现了一个抖动,或者是说流量突增,那我其他的服务虽然是说流量比较小,他可能,但是可能会出现是说我的业务会比较重,嗯比较重要的他也出现了呃问题。
171:33
那这样的话,又又会产生我们新的一个故障点。那针对针对这个的话,我们实际上是就实际上在云服务呃K8的那个那种价格的话,就实际上解决这个问题,我一个服务来讲的话,它是我只要关注我的一个嗯在呃K8里面我一个服务,那我就属于分配我好固定的资源,那我在遇到有呃突发流量的情况下是呃实际上通过K80那块的话,整个我流量就已经扩呃扩容上去了。
172:05
包括我们在这个里面集成CI,呃。CR那块的CCICD那块的的一个CICD的那块的,嗯,包括呃,包括我们后面的测试用例那块的一些整合那些。那通过前面的话,我知道我们就呃会有一个这样的一个呃结构。呃,这API层的话主要是是那块的,包括加com,还有go浪的一些相关的一些API的接口,但是我们会引入一个注册中心,注册中心的话是一个那。嗯,实际上这在柱子中心的旁边的话,应该是有个康复,康复层的话是我目前,呃,这里面是有包括有呃一些基本的配置,呃,包括我们的一些基本的,嗯。这类是我们在代码中的话,可能会出现是说呃数据库啊,这是包括呃一些产量的一些呃调用API的那些东西的一些呃相关的配置,包括我们依赖第三方的一些相关的配置,那我们三次都是放在notx里面去做这块管理,呃。
173:06
但是。其实这个里面这个信这个完整的一个,我们可以看到的话,可能就是一个double的调用。一个double的一个基本的一个分层的一些东西。这是呃,包括我们的呃路由那块,这是呃负载那块的LB那块路路由这是呃协议转换这是序列化的,这是嗯网络交互那实际上我们核心的关注的一个关注那个就是我们采用了整个double和呃,Go是嗯Java和go浪,Go浪之间的一个通讯的性,就是double和double。再回到后面还有一个问题,呃,后面的问就是实际上我们在在我们的一个在线业务里面的话,是很多很多那种服务,因为我们要支持,基本上在芒果TV来讲的话是很多的百分之嗯。
174:03
也不能用百分比吧,很能大部分的业务需求,基本上我们都我们都会去参与开发,但是在需求开发中的话,实际上是很多东西,它又是属于业务线的一个重复,包括我们技术上面可能是一个很基本的一些呃,重复的复用的一个调用,包括嗯,甚至我们都可能已经支撑了,支撑过的一些服务,哦,实际上是呃,只要只要API的方式,呃甚至很多就是说我在IP整断方式很多是聚合相关的服务。聚合一些服务呃,产生相互之间调用,形成一个呃,再去形成一个新的一个API的请求,或者是多个服务的一个服务。那我们上之前就会出现大出现一个就是大量的人力放在写聚合请求上面去。各种业务接入的,包括域名啊,各种各样的管理,但是业务代理呃比较混乱,流量管实际上在还有是流量,流量管控上面是嗯,是缺失的。
175:00
我们我们完全是靠着一个呃,靠运维去管控我们的流量,包括你要去呃做呃,如果出现了问题,呃,我们是没法去降级的。那我们这块在这一块的话,是引入了一个呃solo网关这块,呃,实现了服务的编排,这是限流和统一接入。那时候我们微服务的呃,微服务网关的话,形成了一个呃,形成了一个策略,就是这样,它实际上有呃有七个核心点,就是API的生命周期管理,这是便捷的调试工具。就是呃A版本的管理,流量控制,包括我们的一些基本的签名,签名的密钥那些就是API的编排,呃聚合协议转换,像我们内部的话是呃服务的话属于一个double的服,Double的服务。那如果我最终要是提供到API呃提供到呃客户端的请求来呃来讲的话,它是要做一个协议的转换的,那实际上我们在呃利用微嗯微服网关业务网关的方式把这块都已经做完。
176:03
我不需要再因为一个新的需求,新一个新的业务需求来了之后,我再去呃做一个协呃,开发一个服务,开发一个接口,然后可以快速的通过配置化的方式,我就可以把这个服务开始接入进去。这是我们的一个,嗯。实际上是属于分层嘛,就是底层的话是我们是服务,底层服务是属于呃容器化的一个部署方案,就是服务管理和治理这块是。呃,采用double那一块,为什么会用double那一块,是因为它的整个一个生态方面,嗯是比较完善的,之前实际上在为什么选呃之前的话,我们在最开始的时候是有调研有做过嗯调研的包括呃。Double服务,还有之前腾讯,腾讯应该是公开过一个嗯微服务框架,但是那个属于C加呃C的呃C加R的那块的,当实际上在呃选型上面的话,我们是要首先要能hold住的,才能往下面去推呃推广。
177:10
这一块是主要是嗯,Dis那块的啊,主要包括是什么,自动代码管理啊,代码检测自动化的测试,呃,缺陷管理自动分配的一些缺陷可视化的版本管理,还有版本。软件包的管理相关的。那如果你们呃,在推荐微服化的,微服务化之后,你上我会发现我们的服务会拆的很细,就类似嗯,我一个服务的,呃,一个业务版本的更新,我们会遇到很多很多服务的一个更新,甚至四五个,五六个甚至更多。那这这中间包括我们的API的那些测试,呃,包括我们的业务测试,包括我们最终上线验证的那块的。这个的话就是我们呃,微服务改造之后的一个基础的一个呃基本的架构。
178:02
呃,面对的产品的话,是像芒果TV的这边的话是国内版国际版,包括呃TV芒果TV对内对外的一个SDK,呃在嗯。底层的话是一个混合,混合云这边呃多元管理调度平台,那我们是按有包括我们自己的一个呃机房,再有包括呃腾讯云这边的呃,包括其他有其他有其他的一个阿里云的呃,像AWS这种的核心的一个IDC的机房。呃,在服务运维层面,呃,运维层面的话就有CMDB服务监控的呃,组件库。啊,代码知识。那我在通,呃,通用服务这边向统一网关,这是用户健全的缓存的接口,嗯,消息服务计算计算服务那个。基这些基本上就是和我们业务相关的一些业务线上的,在安全方面也有包括安全服务零信任,零信任,零信任的安全后台主动防御这块。
179:05
三嗯。安全管理、安全运营。包括质量的体系那块。啊,我们最终的,呃。最终一个技术的话,就是包括我们引入后面引入K8S那块的一些,一个整个的技术的架构是这样,是首先是有流量网关的,那我们在网关层面是有两个层面,一个是流,呃流量网关,流量网关是他负责是主要是流量调度的那块的,我可能有多个机房的,甚至南北机房,呃有南北机房的那块,主要是流量的,呃,流量网关调度,那我我们业务网关这层的话,主要做的核心东西就是包括我们的业务编排那个包括前面我介绍的那个呃,七个点的那个地方的。但是呃,底层的话,就是还包括我们的K80集群,我们是有。呃,这是举例啊,包括腾讯云的,阿里云的,我们自建的。
180:00
包括我们呃,UPS那块持续交付与呃交互与发布。其实我们这边,嗯,我们针对这块的话是,呃,有几个原则,一个是不要为了为服务外。不要在没有大或者云服务的情况下,呃进行微博化,那样的话你们你们的运维的能力会运务会向你们吐槽的。不要为了拆分符号为服务。这也是一个核心点,就是嗯,如果你简简简单单的只是为了拆分服务,那就是等于我只是把几个业务上面去做拆分而已。不要将微服务转变成一个SOP,呃,Sov那块都是也是说我们,嗯。只是,如果只是为了在拆分服务上面做一些协议的转换,它最终也就是成了一个OV。些规划是实际上我们在最终推进微整个微服的,呃,推进之后,包括我们的一个容计划部署的时候,嗯。
181:05
我们是有一个最终落地成了一个SS。Ss To B的To B的一个方案。就包括我们自己的业务,业务上面的话是属于规划了很多那种,包括我们那个评论的,还有消息的,还有呃消息总线,包括网关,还有包括嗯弹幕啊,直播啊,各种各样的服务,那我们提供基础服务的时候也会呃也会把这些服务的话对外去,嗯对我们公司内部,包括甚至呃公司内部的一些各个业务的业务线的推广,呃最终我们可以快速呃根据我们的SaaS的平台去呃快速推进呃推动我们的业务。那像多云多活的话,这话是呃,目前我们也在推进的,嗯,那如呃在这一块的话,是属于呃。目前的话,我们是主要是一个多云的方向,但是在多活异地多异地在位那块的话,嗯,是也在在推进,因为我们之前我们的多云的话是属于一个呃同应该是同机房,在物理上面是一个同机房的策略,包括是在同地域的。
182:11
啊,还包括呃,Seven mass seven mass那块的话是属于一个后面后面的规划是,呃,为什么在协议转,嗯异步异步呃异购系统的时候,它实际上会是属于一个,嗯很。很重要的一步,因为呃,我们。在线业务这块的话是统一一个技术是属于spring,嗯,Java和go浪这块的,他们的协议的话是double,但是我们还会有各种各样的新的业务线上面,新的业务线上面的话,他会呃面对呃面对一个情况是我可能只是一个快速的推,嗯推进业务,他可能用的技术方面的话,技术战方面的话是很简单的是嗯,他没有用到说我用复杂的一个微服务的架构去推荐这个东西,它可能就是一个。简单的API,我甚至说可能是是嗯呃,PH,就是我前面说PHP的,像Python啊,为了快速迭代业务开发人员的不规范,上面的话它是嗯。
183:11
开发里面呃也会有多种多样的结构,那他这种方式,这种方式下就会很难去融入到呃我们整个呃,嗯微服务架构里面去,那在我们这在我们这层的话是属于啊我们有一个可以采用API的方式去注入到我们业务网关里面去,那同样的这样的话,你当自身的这个服呃服务上面的话,它是会有一个API,嗯网络方面的一个。监控的呃,监控的呃,有可能会出现各种各样的影响,包括我的扩容那块的,那实际上这块的话就是后续可以,嗯,规划里面就是seven mass,包括I的那个呃这种推进方式。啊,我今天的大概就是这样,嗯。
184:01
好,谢谢潘建波老师给我们带来的分享,那么潘老师请您稍等一下啊,我们看一下现场有没有朋友有问题想要提的,好,来,有请这位朋友。诶,潘总您好,刚才我看到您的PPT里面有一个表格里面提到了服务的管理与治理,那么我想请教一下那个,呃,服务的管理和服务的治理,它到底是有什么区别呢,谢谢。然后服务服务管理这块是你,呃,那时候我们说是说是。就类似我们现在我呃由我们自己来奖励吧,呃,我100多个服务,十多个人。呃,十多个人在那里开发,那我的服务是怎么去管理这块服务的,包括我,呃,那如果我靠靠人工的方式去一个一个去呃跟进这个服务,我甚至可能很多服务,我甚至做做这可能就这个服务丢了,没人维护了。
185:05
可能产生人员变动,那这个服务管理是,嗯,我们是如果你把用微服务的方式去的话,我实际上是可以把整个服务包括我里面,呃,整个微服务里面,呃,整个服务里面有哪些服务,那我是不会缺失的,我不会去,因为说我人员变动,或者是人员的交,呃。人员的流动,或者是其他的原因,或者是服务交接的方方式,会引起我的服务服务的一个呃丢失,那服务治理同样的也是根据,呃,根据那一块的,嗯,也是一样的,那服务服务治理里面的话,那我。嗯,包括你的服务的那些监控,你甚至呃服务的监控方面,包括你服务的该我该怎么去呃出嗯规划后面的服务,甚至我有些服务可能我没流量了,但我也还不在那里,那如果我我整个微服务呃管理和治理那块规划起来的时候,我上我可以根据我的业务的一个情况随时去变呃关呃调整我的服务的一个情况。
186:01
好的好,谢谢好。好,谢谢。韩总你好,问一个问题,就是您刚才提到芒果TV原来是那种面向烟囱的架构,还有多条烟囱的架构,还有面向服务的架构,在转向面向微服务的这个目标,就是我想问一下你,你们芒果TV现在的技术人员团队实施这种面向微服务改造,你们大概投入的这种人力资源和时间的成本,大概花了多少人月才?实现你现在的这个PPT的目标,这是第一个问题,第二个问题就是说对于一些老的应用,它已经运行了很多年的内容,JAVA1的应用,或者Java的一些应用,因为我们是运营商下面的公司啊,我们也想往为服务转型,就是也在这里做,就是说这方面在技术战方面的这种转型和和探索,是不是会牵扯到很多的。代码的变更和修改,这方面的成本是怎么考虑的?嗯,OK。
187:04
啊,你刚才说的那个服务,嗯,第一个是呃烟囱式的那个服务嘛,对吧,呃烟囱式的服务的是。嗯。可以继续投投投一下吗。同品。啊,我芒果TV这边的话是属于,嗯第二,呃,我们是说我们在属于第二代的烟囱式的,嗯,多烟囱式的发展,呃,不是。模式下面的,那我如果我。嗯。嗯,稍等稍等一下啊,你可以再描述一下你们那个面向微服务的这个转型,你们大概投入了的这个人员和时间的成本大概用了多少,你介绍一下你们的经验,好,我人力这一块的话,实际上我们面对很多业务,但是我们开发人员的话是只有大概是呃十多个人呃十多个人样子,当然这是在业务开发层面,但是包括你还有运维的,呃,包括还有呃质量测试那块的话,呃,质量测试那块那整个实是你会要协调整个呃公司里面的资源去做这块的。
188:21
那如果你,嗯。呃,就看这块的话,主要是看你们自己的公司层面的一个,包括你们自己的业务的一个情况,我们这边的话是属于积有。只有我们部门就有100多个服务,但还有其他的部门的。我们的时间啊,我们是。在呃,首先是在业务代码改造上面,业务代代码改造上面的话,我们是花到两个月的时间去把包括呃代码的重构那块,我们。商户对我们团队的人员要求是挺多的,包括你呃做业务的时候,同时还有包括我们的服务代码的改造,就是加班去推进这块的。
189:01
再是包括后面的微服务,再是我们的呃,SaaS平台那块构建,那一直持续到今年,今年上半年,它一直在持续这个推进这个。因为这个东西本身不是说呃,我推荐完了,我就完完了的事,你包括我们后面还有包括呃,后面说的规划那块的我们的。SS平台那块的,包括呃,后面的在S就是S的那块的。那实际上它是一个很长期的一个技术方面的规划,呃,规划方面的。呃,另另外一个好像是还有一个问题是说,呃,选型上面的是吧。选型这块实际上也是跟着你跟着你们业务来的,呃,自身业务来讲的,那我们自己的业务的话,本身开发人员首先要结合自己的场景,我开发人员上面是呃,主要是呃Java和go浪的,那如果你让他说呃。我统一说,呃,Java的全部转勾浪在勾上的转加法,那这个这个层面的话,你在开发人员就肯定会面临你们的一个,嗯,肯定会有变动。
190:07
那所以我们在这做,在做这些东西的时候,那实际上就是要结合自身的一个呃开发的一个情况,以及业务的情况去做这块的选型,所以嗯,包括我们之前最开始的时候,最开始的时候我们包括有呃技术选型,包括我们的一个技术的一些规划方面,它实际上都会有都做,呃都是有过长期的,有包括我们技术架构人员呃前期去考察。以及包括最终落地方案是怎么样的,我们都有完整的呃文档去形成,让再让在推广到具体的开发人员去做这块的。好的,谢谢潘建波老师,谢谢您,谢谢您给我们带来的精彩分享以及答疑,好,有请回座休息,辛苦了,辛苦了。好,那么至此呢,我们演讲环节到这里就结束了,接下来呢,是本次活动的一个特色环节,也就是Tao t的开发者说,那么我们之前在听了非常多的专家和大咖的演讲之后啊,我们也来听一听开发者是怎么说的,他对于开发和实践有什么样的困惑和心得呢?接下来让我们有请到湖南长城科技信息有限公司架构师聂芳华老师,有请,聂老师有请。
191:22
呃,大家下午好,我是聂方华,大家可以叫我came,呃,很荣幸参加本次ta har技术巡回长沙站的活动,呃,我本人是湖南长城科技信息有限公司的一门架构师,呃,也主要是做微服务这块的开发和架构工作。呃,湖南长城科技有限公司是中国长城的子公司,大家知道中国长城主要是做我们的国产呃这个设备的,那湖南长城科技有限信息有限公司呢,主要是负责在湖南省销售我们的国产笔记本电脑,国产的台式电脑服务器呃等相关的这么一些国产设备,呃,那我们同时也做呃国产这种微服务应用的一个迁移适配工作,呃,主要涉足的话就是党政军、教育医疗这。
192:23
些行业,呃在我的日常工作里面啊,我遇到的比较多的应该就是安全问题了,比方说你的服务器被攻击了,那这个时候你要怎么处理?呃一三年以前呢,我们的解决办法就是我们自己去到机房进行一个维护工作,就是你一旦被攻击了,你肯定要去处理,那你首先要进机房。呃一三年以后,嗯,我正好跳槽到了一家那个在线英语的教育公司,呃负责那个云教室的业务,呃我主要负责那个流媒体服务器和聊天服务器的这个开发,呃当时候公司正好是全面上云挖挖矿的黑客比较疯狂,我我们基本上中招,中招了好几次。呃在用了腾讯云以后,我们被攻击的时候,我们就可以利用呃这个腾讯云的这个云快照的功能,我们就在线进行快速的一个恢复,呃,这个。
193:23
这就不会影响到我们的业务了,我基本上恢复速度非常的快,呃,算是秒级对吧,当时我们的峰值流量就是我们是在线的这种教育,我们这个流量也是经历过一些暴涨的时候啊,我们利用腾讯云的这个弹性伸缩的功能,我们在线进行一个扩容,等峰值降下去以后,我们就又进行了一些缩减,这个大大减轻了我们公司运维的一个压力。嗯,我个人呢,自己也在用腾云的服务器做一些代码测试和发布的工作,呃,我觉得腾讯云的工单系统做的非常好,一开始我在腾讯云上面没有找到这个相关的售后电话,我就很好奇,我当时还在想这个功能做的很差,但是我使用了腾讯云的工单以后,我发现整个沟通我都可以通过在线的方式进行,然后腾讯云的技术人员会主动打电话给我,而不是我去打电话找他们。
194:23
呃,这个其实我这种感觉就非常好啊,这个整个跟踪都在线上进行的一个数字化,然后把这个整个这个呃支持工作做的非常好。呃关于腾讯云的使用,新的我最大感受有两个啊,呃首先是作为流媒体服务器,我们其实当时考察了很多的云,呃,但是腾讯云给我们带来了一个极低的一个延迟,呃我做的是英语在线教育,呃我们需要在美国和中国之间做一个,呃基本上算是零延迟的一个音视频沟通,当然我们主要还是音频,老师是视频呃,学生主要是音频,那最考验的就是网络质量了。呃通过多个云的一个对比和实测的话,我们发现就是延迟最小的是腾讯云,呃满足了我们整个实时互动的需求,但现在腾讯自己也推出了他的腾讯会议系统,呃,我们原来的那些应该也用不上了,但我现在也不干那个。
195:23
是,呃,从那个时候起,我们公司的所有的这个云服务啊,我们都迁移到腾讯云上面了,呃,另外一个心得就是我的远程办公电脑和测试服务器,我现在也用的是腾讯云,我觉得这个给我个人带来了一个极大的一个便利,呃,由于工作的性质,我经常需要出差,呃,大家都知道背着那个笔记本一般都很重,对吧?呃,应该是我们程序员最烦恼的一个事情,这个时候我最想要的就是一台这个很轻便的这个设备,用于这个办公,用于开发,并且大量的资料都需要做一个备份和版本管理,呃,当时候我最开始用的是云盘。
196:06
但云盘不能满足一些突发的情况,比如说经常我有的时候需要改一个PPT,我需要编译一个代码,或者我做一些小的那个label的实验,对吧,但是这个时候,呃,这个云盘它就不能满足我的这些需要了,呃,我有可能没有电脑,我可能要在外面我使用别人的电脑,那我也需要做这个开发工作,那这个时候怎么办?嗯,那我现在就是在腾讯云直接开了一台四核8G的服务器,我把所有的开发环境和我的办公软件我都部署在这台电脑上面,嗯,在上面我也搭了SVG啊,常用的工具软件包,我这些我都托管到了我的云端,呃,我编译的时候我还可以切出来之我本地电脑上,我做别的事情,呃,我的开发环境我是直接放在我自己的SVN上面,这个就是比方说我有一个员工需要入职,他需要一个环境,那我怎么把这些reads这。
197:06
这些东西给他呢,他直接从我的SP上拉下去就可以了,因为所有东西我都配置好,呃,以上就是我使用腾讯云的分享,呃,谢谢大家,也谢宁老师给我们来的分享,和谢你有回息。好,那么今天我们活动到这边就全部圆满结束了,再一次感谢今天大家的到来和支持,谢谢。
我来说两句