00:01
各位直播间的小伙伴大家晚上好,欢迎来到云家社区直播间,今天是我们数据万象应用叔叔直播第二期,本期我们邀请到的是腾讯云高级产品经理王亮老师,今天分享的主题是云上数据流工云上数据工作流篇,然后王亮老师将会跟我们介绍什么是工作流,通过工作流怎样灵活编排你的业务,然后工作流是怎样结合云函数定义处理能力的,然后直播中呢,我们有设置活跃奖跟提问奖,中奖名单呢将会在直播结束后公布在评论区,然后接下来我们把时间交给王亮老师,让王亮老师给我们做一下分享。好的,这边能看到吗。啊,可以的可以的,嗯,好的,嗯,之前应该也有,就是有嗯部分的就是相当于观众应该是能够接触到我们相关的就是数据工作流是怎么使用的,然后也有一些就是数据工作流的使用经验,嗯,但是呃整体上来说呢,我们的客户群体对于数据流工作,数据工作流的这个概念还不是特别清晰啊,所以今天我会讲一下我们数据工作流啊,到底是什么样的解决方案,它到底是怎么组成的,还有它具体的一些应用场景。
01:29
然后首先还是给大家介绍一下工作流,关于这个数据工作流呢,其实在我们就是腾讯云的这个呃公众号上也有相关的推文,会去详细的介绍就是啊,我们数据工作流到底是去怎么应用的啊,实际上呢,我们的工作流就是将我们现在的呃在控制台上的一些功能,把它的这种数据复杂的数据处理,然后把它进行一个简单的编排,那我们的现在的呃研发或者是去使用的客户呢,就不用去啊关注我中间的这个数据工作流到底是怎么实现的啊,不用去关注这个研发的过程,可以快速的通过我们这些呃节点的编排或者是组装,实现我们整个业务逻辑和业务流程。
02:18
那可以看到就是上面是一些这个操作的事例,然后在我们工作流启用过后,嗯,在你上传到文件,上传到cos的时候,实际上就会触发到我们这个工作流相关的这个动作,然后和相关的业务,待会儿呢,我会给大家介绍一下,具体我们工作流是怎么样去添加节点啊,到底能添加一些什么样的节点啊,最后是怎么去触发工作的,因为我想就是嗯,大部分的客户可能还不知道,就是我们现在的这个数据工作流,呃,是通过什么触发的,然后在哪里去出发,对这个概念还不是特别了解,我觉得这个可能还是要通过实际操作可能会去比较好啊,认识到这个东西到底它是一个啊什么样的结构,然后能给我们带来一些什么样的这个收益。
03:07
那关于我们数据工作流的这个架构图呢,就是可以看到啊,比如说在使用我们的业务方,或者是我们的客户,在通过我们的这种就上传到cos的时候,就可以去触发到我们的工作流,我们工作流就会开始工作,然后我们的工作流里面其中含有的一些功能呢,比如说上面提到的一些音视频转码呀啊,极速高清啊之类的,这些都可以是通过多条路径,然后进行不同的排列组合啊,按照就是不同的这种客户的业务需求啊,都是可以去随意的调换顺序的,然后可以通过一些比如说嗯,我们不同的参数配置啊,不同的模板等等,这些都是可以在工作流里实现的,那这里除了提到就是数据工作流这个地方,把就是音视频处理这个地方单独放出来,相关的功能比较多之外,那么近期我们也会把就是图片处理的业务放到我们数据工作流当中啊之后呢,就。
04:07
是可以通过触触发这个数据工作流的形式啊,来使用我们图片处理的功能了啊,这个对于用户来说也是非常便捷的啊,比如说我们在使用数据工作流的时候啊,一个视频我可能截了很多张图出来,然后这个图我可能需要去做下一步的,比如说啊盲水印啊,还有视频打水印,视频添加文字水印,或者是呃,视频旋转之类的处理,那这些都是可以通过我们工作流在一条路径当中实现的。那同时呢,在右边的这些就是相关的这个,呃,优势也可以看到,就是目前我们的工作流是可以去支持API调用,然后通过控制台配置也是可以的啊,这个看我们用户的这个使用习惯,就所有的这种操作方式我们都是提供出来了的,那具体要使用前端的页面去配置呢,还是API去调用,这个都是可以由用户自己去决定的。
05:08
啊,后续除了相关的图片处理的这部分的功能,我们会加入到数据工作流之外啊,另外相关于比如说像内容审核呀这之类,还有文档预览啊之类的这些之类的任务啊,还有相关的功能模块,我们都会陆续的加入到数据工作流当中,让整个云上的这个数据处理的流程更加的完整。那这边除了我刚刚提到的,就是我们数据工作流,它本身自己具有的一些功能啊,这些功能在我们的这个产品文档,还有控制台上也都可以看到,除了这些功能之外呢,我们用户肯定呃,有些比较特殊的逻辑,或者是特殊的业务,呃,使用我们这些已经配置好的相关的功能,它可能是没有办法完成的啊,我举个例子,可能在某些电影行业,或者是像这种呃制作机构,它的处理逻辑就是比较特殊的,它的处理的格式也是我们普通的转码不会用到的啊,比如说像我们苹果的这种格式,他们可能用了一些啊,就是国外产的摄像机,像松下的摄像机啊,这些ABC相关的这种转码格式,那一般在我们的编解码器啊,还有我们的云上处理都是不会涉及到的,但同样呢,呃,这些业务也可以通过我们在工作流中加入,像这种自定义的云海。
06:35
函数的节点可以去实现,去配,就是用户这种比较特殊的逻辑。嗯,然后再加这个特特殊的逻辑的时候,实际上用户是不需要去关注我们工作流啊,它到底中间的呃,前后的衔接是怎么样的,这部分的研发工作我们是可以帮他省掉的啊,同时呢啊,因为用户的这个特殊的逻辑,实际上它是复用了云上的机器,和本地的自自己购买这种物资相比,成本是可以降低非常多的啊,我举一个例子吧,就比如说我们在云上使用这种呃,VP8格式的转码,那可以就是相比我们本地自建的这种转码,不仅是效率可以提升一倍,同时呃成本是可以降低差不多到60%的,那这个是使用我们数据工作流去接入一些自定义处理函数它的好处。
07:30
那具体的现在的我们数据工作流可以接入哪些自定义处理,我们这里提供了两个模板,先给大家看一下啊,就基于这两个模板给大家举一下例子,待会儿给大家看一下相关的操作。那首先第一个呢,就是在这个自定义处理里面用的最多的实际上就是转码了,就说到就是转码提供给用户的选择实际上是很多的,虽然我们云上的格式能够满足这种,呃,常见的终端啊,或者是不同的这种呃设备它的使用啊,一些视频增强啊,甚至超分辨率的功能我们都是有的啊,但是一些特殊行业,比如说涉及到像啊安防啊,电影这种,还有一些自己转码特殊处理的逻辑,那这部分我们是没有办法去为他做定制的,但同样呢,他也要想要使用云上的这个比较庞大的资源去帮他节省一些成本,同时去提升它的效率,那它就是可以去使用我们啊自定义函数的这个功能。
08:30
那在我们的这个工作流里可以看到右边是可以添加这个自定义函数的节点的,那第一步我们会采用就是添加了自定义函数节点,然后到我们的CF里面去创建相关的函数。那这个时候呢,就可以选用到我们这个呃,音视频转码的相关的模板。在这个模板里呢,可以配置啊,你的环境所需要的内存,然后你相关的环境变量,到底你要输入到哪个桶里去,输出到哪个区里去啊,下面这个templ就是我们转码相关的命令啊,到底要使用怎样的转码流程,然后使用怎么样的code,都是通可以通过相关的环境变量去控制的。
09:17
那下面呢,因为就是我们的这个相关的自定义函数的处理,是需要有我们cos的这个文件的读写权限的啊,所以在我们这个运行角色的选择上啊,需要去选择就是由我们整个读写权限的角色啊,同时呢,这里也是可以用户自行选择去新建运行角色的,那这里选择就是新建角色的时候也要注意一下,给这个角色的权限也要是能去读写我们相关的文件的。那这里就是我们新建了函数之后,就可以触发到我们相关的工作流,这个也就是一个,呃,工作流是转码的相关的结果了,这里已经看到,就是这里说做了一个结果的事例,那关于这个自定义处理转码的详细操作呢,我有附在就是我们相关的这个胶片里,呃,在直播之后呢,就是婷婷这边也会发送给大家,大家可以看一下,就是具体是怎么去操作这个相关的自定义处理转码的。
10:18
啊,刚刚说到会给大家看两个例子,那除了转码之外,我们相关的这个,呃,还提供了另一个模板,就是哈希校验,因为目前呢,在我们的cos上实际上是只提供了C的校验码,那对于用户来说可能啊,有些是需要MD5值,还有一些其他的校验值啊等等,那这里我们就给他提供了一个比较灵活的选择,他可以通过在我们的数据工作流中加入自定义函数啊,去实现他自己需要的这种校验方式。这里看到其实也和刚刚的这个呃转码是一样的操作流程,我们首先会在就是呃创建工作流的这个界面里,选到我们自定义函数的这个节点。
11:06
之后我们也提供了就是计算哈希值的相关的这个比较简单的模板,能够就是快速的让用户易懂的可以看到下面有些标签啊,就是支持的,就是我们的语言,包括note JS啊之类的,我们都是支持的。那这里呢,也是需要像我们的这个自定义转码一样,传入一些相关的环境配置,还有权限配置啊这一系列的就是呃,关于配置的像这种过程,其实所有的自定义函数都是类似的,只是说在这个环境变量上啊,你究竟是要去做一个哈希校验呢,还是做一些就是像我们F这样的转码,嗯,这样涉及到可能环境变量就有一些区别,那具体的这个环境变量需要怎么设置?呃,在旁边的我这个详细操作里面,其实也有放相关的这个设置流程,待会儿也会给大家演示一下,到底是在呃什么界面,什么流程去进行相关的设置。
12:05
啊,最后也就是在触发了工作流之后,我们可以看到相关的这个,呃,上传的已经有不同的这个哈希值了。那这里我先切换一下画面,来给大家看一下,就是我刚刚提到的自定义函数,然后在我们的这个工作流里到底是怎么实现的。哎,这里大家能看到就是相关的这个就是我们控制台的界面吧。婷婷,看一下能看到吗?那这里呢,就是我们cos的控制台,在这里就可以进行我们工作流的创建啊,刚刚提到我们的工作流可以用到就是相关的模板是可以在这个公共配置上进行配置的,比如说使用相关的音视频转码呀,或者极速高清等等都可以在这里配置,就是到时候我们的目标文件所要输出的目标格式呀,它的码率啊,还有帧率啊等等都是可以进行控制的。
13:21
那在这里就是我们创建工作流的入口,上面也有我们工作流创建的相关的指引。这里我们以刚刚讲的就是呃哈西值为一个例子。这里选择就是我们所需要教研哈希的路径。选择到我们的媒体处理队列,那后续呢,这个格式匹配的地方,因为我们会加入,比如说图片处理啊,还有审核之类的啊,所以这个地方也会有呃,过滤图片文件。如果说是就是用户觉得我们现在所提供的这个,呃,默认音视频文件的后缀,比如说像一些 movmp4满足不了你的过滤需求,也是可以在这个地方啊,使用自定义后缀来设置的。
14:12
啊,这些操作都是比较简单快速的。那这里就可以看到我们可以进行相关的呃节点的组装,在这里呢,要提取就是我们自定义函数是可以就是呃,插在任何一个函数和后面的就是我们任何一个就是相关的节点,它的任务类型,后续处理都可以接自定义函数,嗯,做一些用户想要的自己定制化的操作都是可以的。比如说这里我拿我们刚刚说的自定义函数举一个例子,看一下大家是怎么操作的。相关的这个函数,如果说到时候嗯,大家这个地方需要新建的话,那我们在就是cos下面创建一个就可以了,这边节点的入就是指我自定义函数,呃,它处理的到底是什么对象我上一个呃任务节点它对我的输出是什么?或者是就是直接这个啊,我一开始就是自定义函数的话啊,我这个选择所选择的输统到底是什么啊,输进来我到底在哪个区域操作。
15:15
嗯,相关的入参是这些。那在我们就是选择了自定义函数之后,这里可以看到就是新增函数的这个button。这里就会跳转到我们函数服务的这个控制台上去。啊,这里就可以看到我们提供的就是相关的模板了。当然用户也是也是可以选择,就是自定义创建。啊,这地方就是相关的这个,呃,比如说可以用Python啊,或者是note JS啊之类的语言都是可以的。
16:08
那这里呢,假如说我们选择一个计算对象哈希值的模板。那下面就可以看到,我们可以进行一些基础的配置,还有刚刚提到的高级的配置,到底这个环境内存要配置多少环境变量,我们要传进来什么,比如说我们的哈啊之类的,这到时候都是可以输入的。下面的这些并发配置,我们都是可以参照就是用户的需求来进行配置的。这里的我用,嗯,环境变量我就先不进行输入,这也可以到时候参照我们相关的这个操作文档进行输入就可以了,这里主要给大家演示一下,就是我们相关的这个操作流程。
17:11
然后点击完成之后,我们这里函数就创建成功了。然后可以看到已经可以选择就是我们相关的函数。这个地方呢,它我们的触发版本其实可以选择默认流量,然后也可以就是有它的别名操作,这个是便于到时候呃,用户通过不同的这个函数别名啊,可能有不同的计费方式啊,这个都是可以进行划分的。在这个地方,我们自包含自定义函数的一个节点就创建成功了。然后这里和我们其他的工作流的使用流程是一样的啊,点击启用之后,如果我们上传的文件是触发到了它的这个,呃,这个启用条件的,然后我们相关的这个自定义函数的这个,呃,执行任任务就会被相关的触发,然后就会进行接下来的这个相关的动作。
18:22
然后刚刚讲的就是我们的数据工作流,现在可以做我们本来控制台上含有的,呃,相关的这个网音视频处理的功能,还有自定义函数的功能,那具体这中间涉及到哪些功能,然后下面就给大家大概的过一下,我们现在的工作流涉及到的功能到底有哪些,然后是可以怎样,就是拼接和组装,有些什么样的应用场景,大家可以去尝试一下的。嗯,首先这里是介绍了一个任务,也是我们单次出发工作流的概念啊,这里其实在刚刚的这个控制台上也有提到,我这里是不是有一点吵。
19:02
嗯,稍等一下,嗯。然后这里的任务我们就是可以进行单次出发啊,包括了我们刚刚的控制台上也是可以去,除了在上传的时候啊,触发相关的这个任务之外,我们也是可以去手动进行触发工作流的。那这里的任务就比较便于,我们临时可能要做一个什么操作啊,需要用到我们的模板之类的,就是比较灵活的一个操作了。然后在我们的工作流当中,可以用到的第一个就是这个呃,Hos适应打包的功能,那这个功能呢,比如说在我们的这个啊视频需要在呃不同的这个网络情况下播放的时候,是比较常见的一个功能,那平常在操作的时候,用户实际上可能是需要自己去做嗯三次转转码操作的,那这个对于用户来说可能浪费的时间就会比较多,这个场景呢,会在我们相关比如说像B站这样的平台就会比较常见。
20:04
嗯,可以去灵活的切换它的码率,根据你现在的网络条件,然后去选择一个啊适合你的文件码率,或者适合你的文件分辨率,那通过我们的工作流,那就可以快速的实现这样的功能,那用户就可以不用自己去进行那么多的打包操作了。下一个转码这个功能大家都比较熟悉了,那在我们的工作流里可以添加很多条径去进行啊不同的这个形式的转码,然后也可以将转码节点搭配到其他其他节点一起使用,那比如说我们转码搭配节针啊这些之类都是可以的。这里也是就是我们相当于我们转码的一个增强版的功能,极速高清,如果觉得你的相关的这个视频的质量不是特别好,那么这个后期也是可以通过我们的这个工作流啊,一次性的去进行处理的。
21:01
啊,这里给大家展示一下我们高清相关的效果。可以看到,就是在处理之后的人物的边缘和相关的字幕可能都会比较清晰一些。然后同时呢,就是我们的这个画质,如果是在同样的画质的情况下,我们是可以节省20%-40%的带宽的。啊,甚至是在画质提升的情况下啊,我们的码率也是可以降低一些的。这样的好处就是既帮用户提升了这个画面的观赏性,同时还能就是节省一定存储的空间,还有网络的带宽的成本。嗯,这里也是在我们的工作流里,同任务一样可以使用的一个下变换的功能,这个功能更多的是可能搭配在转码里面使用,这也是我们转码里面的一个开关,是为了去配不同的这种终端设备,那可能我的终端的这种手机设备,它就是一个SD的显示器,那如果像这种显示屏,我直接去,呃拿HDR的这个。
22:22
嗯,视频播放的话,它可能会有比较暗的这样的,呃,场景出现可能会过曝呀,过暗之类的,但如果使用我们的下边换就可以去适配不同的场景,能够让这个视频和原视频的它的高光还有暗部的地方都更为接近。啊,这里也就呃大概的讲一讲,这也是我们工作流里能够添加进去的相关的节点精彩集锦。啊,包括人生分离和精彩集锦等等这些功能本来就是呃能够帮用户通过一些AI的手段提升他的工作效率的,嗯,像精彩集锦和人生分离这种功能呢,本来可能是要通过相关的剪辑软件,比如说像现在比较简单的premier或者是剪映之类的呀,去通过一些操作才能把它分离开来啊,那现在我们现在不仅提供了智能的功能,还能够通过呃工作流跟其他的相关的这种呃操作节点相互串联,能够把整个一个生产生产链让它变得更完整啊,所以这个对于就是呃降低人工来说是比较有好处的。
23:36
智能封面应该就是大家比较熟悉的一个功能。嗯,在这个地方呢,就是我们的工作流里,刚刚也说到,因为为了要让整个呃生产链条比较完整,所以我们可以在就是比如说在转码的过程中嵌入视频水印啊,做它的版权保护啊等等啊,这里不仅就是我们能提供比如说像这种啊技格式的动态的水印,或者是名水印等等啊,包含现在就是版权保护上比较流行的数字水印,也是盲水印啊,这个也是在我们的转码过程中,我们的工作流里边可以完成的一个操作。
24:20
嗯,音视频拼接这个也是,呃,添加片头片尾在工作流里面会比较常用的一个功能。那刚刚介绍了一些我们工作流相关的功能,这些功能具体要去怎么应用,在哪个行业,怎么组装,这里给大家做一个简单的介绍。啊,这里举了一个例子,比如说像我们的视频网站,那我们的视频网站一般是需要啊,比如说我们的每个视频,它可能要有一个比较精彩的封面。然后相关的这种呃,动图的预览,它也是都是需要的,那对于我们来说就可以呃,同时把这个节点变为三条路径啊,这里右边可以看到有一条智能封面的路径,还有一条视视频转动图的路径,当然我们还可以在下面同步的添加,比如说转码的路径啊等等,也可以同步的进行操作,那像这样我们用工作流编排的好处呢啊,就是能够同时的去适配不同的终端,然后并且能够去适配我们视频网站的啊,他所要播出的视频的这种需求,比如说还需要有一张比较好看的封面,他需要有个技图来预览等等,而且是在使用我们工作流的过程中呢,能够因为是云上资源,所以我们能够按需来动态调整我们的呃,转码资源自动扩容或者是缩容都是可以的,那这种对于就是我们大规模的转码效率提升是非常大的,同时可以去节省一部分成本,因为在他不使用的时候,我们这部分资源就是闲置的。
25:52
什么嗯,闲置的时候其实也不会有,就是呃,计费相关的行为。
26:01
那对于在线教育这个场景其实更多的,呃,右边举到了,比如说我们去适配不同的这种播放终端,Ipad啊,手机啊,各种手机的终端啊,安卓啊,苹果的时候,我们需要用到大量的转码操作之外,嗯,像人声分离,音频降噪的这种节点也是可以添加在我们就相关的转码能力后面的啊,这样一条路径完整的输出的结果呢啊,我们就可以直接投放到相关的平台使用了。对于用户来说,不管是从他的这个,嗯,就是视觉,还是从他的听觉上来说,感感觉都是比处理之前可能就更出色的,那这个在在线教育的这个场景是比较常用的。那对于像广电传媒的这种场景,因为它对于专业性的要求会非常高,所以呢。我们会有大量的转码相关的操作啊,这里我没有把就是转码相关的一些特殊的格式列出来,广电行业它特殊的地方呢,就是在我们转码操作的时候会有一些特殊的格式,虽然我们有这个,呃,自定义函数能满足一些,就是比如说像我们刚刚提到的苹果的格式呀,这种转码。
27:18
啊,但是呢,呃,广电这个行业它可能就是,呃,我可能整套流程上云之后,他也不希望做一些自定义的操作啊,希望就是以你标准的模板能够原生的。支持我相关的业务,所以在我们的这个转码业务也是能支持一些专业格式的,比如说刚刚提到的叉BC啊,然后DN叉HD等等,那这些格式比较特殊的,甚至像无人机的这种格式,我们也都是可以进行解码的。那在就是相关的,就是我们关于工作流的介绍之后,这里也做一下,就是我们下期一个就是直播的预告,那下期呢,我们主要会讲一下就是呃,内容安全这一部分,还有我们的内容审核能力啊,这部分应该也是就是呃,像社交行业呀,然后还有就是啊,我们最近的像这种电商啊之类的都会比较关注的啊,这部分能力用的也是比较多的。
28:14
嗯,在右下角呢,就是这个直播的这个报名链接,大家都可以看一看,关于就是呃,这期的问题,我先看一看大家提了些什么问题。好的,那非常感谢王亮老师的那个分享,然后接下来呢,我看评论区的话,这边有。有好多人提问,然后王玲老师需要选三个做回答,然后如果你的问题被选中的话,你有幸就有机会获得精美礼品一份。嗯,首先说到就是图片处理工作流这个问题啊,目前我们是还在测试阶段,预计是下周我们就会上线了,然后大家就可以进行使用了。在工作流中,如果要是呃执行过程异常了,这个会怎么样?其实这个就涉及到两点,一个是你的任务会不会正常的进行下去,如果是我的这个任务都失败了的话啊,其实有些任务,比如说像我们转码啊之类的啊,我可能会继续下一个任务的处理,但是在我们的回调信息中,是可以取到我们相关的这个呃失败的异常的任务信息的。
29:22
比如说我整个工作流它是成功的,但是中间失败的任务你是可以知道的。然后关于图片水印这部分有免费额度嘛,是有的。再多回答一个吧,看一下触发规则,这个实际上是可以,刚刚有观众有问到触发规则是存到里就会触发嘛,呃,这个不一定就是触发规则刚刚展示的界面,呃,大家可以自己去就下来,我把详细的操作步骤,然后也发送出来,触发规则是可以自己去设定的,然后到底是他是什么时候触发,比如说我是上传之后就触发啊,还是说诶我这个格式,我这个文件,它过一段时间在某个特殊的时间点进行异步触发,这都是可以在就是S函数里面设置的。
30:10
然后关于其他的问题就看一下就是呃之后的直播,呃之后的这个我在答疑群里做相关的回答之类的吧,好的好的,嗯,那我这边重复一下,刚刚王亮老师回答了三个问题,第一个问题是工作流要执,要是在执行过程中异常了会怎么样?然后第二个问题是图片水印有免费额度吗?然后第三个问题是触发规则相关的问题,然后提就是这三个问题的提问者观众可以就是将您的就是将您的收货地址以及问题截图回复在我们腾讯云存储公众号下,完了之后我们会在一周之内将您的就是礼品发放到您的手中,然后稍等我这边看一下,我们后台统计的就是本期的新幸用观众有哪几位。
31:14
呃,经过我们后台的评估的话,本期的信用观众是80030905785676373997702是本期的就是新闻观众,如果呃,这三位观众呢,你可以那个评论截图以及。以及您的收货地址回复在我们腾讯云存储公众号下,完了之后我们也会尽尽快将礼品送到您的手中,然后本期的话,我们的直播就到此结束了,然后我们下期直播呢,依旧是下下周四,然后我们播的是学堂楚的直播,然后我们到时候直播间不见不散。
我来说两句