00:00
呃,好了各位啊,那咱接下来呢,再来看下一个小节,就是引用依赖资源,这个怎么去做?诶这个引用依赖资源其实咱这指的是什么啊,同学们指的是啥?指的是某些任务对吧?引用它所依赖的一些文件资源,不是咱们这个内存啊,或者是CPU核数啊,这些计算资源指的是什么?指的是一些文件资源,这个一定要理解啊好了,那哪些任务可能需要引用一些额外的资源呢?非常简单啊,你比如说举个例子,Map,你比如说Spark任务对吧,但他们是不是在执行的时候,咱们必须得给他提供一个炸包。能理解吧,那再比如说我们的一个shell任务对吧,Shell任务我可能是,呃,怎么样的,像咱们这样对吧,我比如说我这个下线啊,我可能是直接在这个节点当中填写我这个需要执行的命令,我也可能会这么做。我是不是也可能会直接引用或者直接调度其他的现成的脚本呀,对吧,也就是说这些任务它都是可能会依赖一些其他的文件资源的,兄弟们,那这些文件资源我正常我给他放哪儿呢?
01:06
很简单,你给它放在哪呢?诶是不是放在资源中心就可以了,对吧?好了,那咱们接下来呢,就来演示一下,那这个所谓的资源中心到底怎么使用,对吧?我们去定义工作流的时候,到底怎样去引用这个所谓的资源中心的内容,对吧?来吧,咱们开始啊,这会儿怎么去怎么去演示呢,很简单,咱们这样啊,我们先来到这个资源中心,OK,好,诶,你会,呃,资源中心啊,资源中心诶你会发现这个资源中心当中呢,我们实际上呢,是可以做两种资源的管理的,一个是文件管理,一个是udf管理,好我先给大家解释一下这个uf管理是什么,Udf大家还记得是什么?所谓的udf是不是就是自定义函数啊,对吧?用户自定义函数user DeFine的三个对吧?这个用户自定函数指的是谁的啊?在这儿特指have的用户自定义函数。特指have的用户自义函数啊,这个大家要注意一下啊,那完了之后也是在这儿呢,我们实际上是可以在资源中心当中,比如说去创建have当中的自定义函数了,对不对?你正常创建汉有自定义函数得怎么创建,你是不是得自己去编写一个名字。
02:13
那去去去去自己去编写一个那个那个那个呃,Have的一个实现呀,对吧?哎,你得去继承,比如说have当中的udf接口对吧,然后呢,去实现里边的相应的方法对不对,然后呢,你得打包对吧?打包完之后呢,你得把包上传对吧?上传之后得执行一个什么create functions,是不是得执行这样的一些命令,你才能在have当中创建函数,能理解吧?OK,好,那如果你要是用DS去做调度的话呢,其实你可以借助它去维护have当中的函数,用它去管理函数也行,很简单吗?这么做那啊,诶点击创业函数对吧,函数名称诶全类名对吧,你那个包对不对,你给他完了之后点击提交函数就创建出来了,你就能用了。诶是这样的啊,其实也挺方便的,但是在这儿呢,咱们重点不是它,我们重点是谁呢?是这个文件管理好怎么管理文件的,很简单,在这注观察你能创建文件夹,你能创建文件,你也能上传文件好了,那现在呢,咱们就直接创建一个文件就行了,点击创建文件,那这里边咱们可以给他填一个啥,那随便填一个,比如说我们就填一个这个,诶,Hello吧,对吧,Helo,然后后边注意文件的类型,我们能选很多种啊,比如说我们就用默认的SH文件啊,是一个shell脚本呗,对吧,然后里边咱填一个啥呢?比如说我就填一个EE,然后呢,Lo eo hello。
03:28
OK好,同学们,那这样一来的话呢,咱这个脚本就算是创建完成了,诶注意同学们啊,诶你我问一下大家,你说我把这个文件创建完之后,或者说我在这儿我往上传文件啊,你上传文件OK好,那你想一想,他会把文件存哪去。会把文件存哪去?是不是会存在HDFS,对吧?我们之前在部署DS的时候,咱是不是讲过一个资源中心的概念,对吧?他是不是会把数据写到HF,这是我们自己配的对吧?好,那写到HF哪了呢?咱们能看到,注意观察,你看这个路径是不是当时咱们指定的根目录下边的do分together来对吧?好,那你点进去之后呢,艾特硅谷点击resource,这儿是不是就会有一个hello.sh啊对吧?诶,其实就跑这儿来了啊,这个大家理解一下啊,行了,那我们继续往下走啊呃,那文件有了之后,我们接下来呢,就来演示一下啊,我到底怎样在工作流里边引用这个文件。
04:21
对吧,引用怎么引用其实特简单啊来,那现在呢,我们还是老规矩,点击一下这个工作流对不对,然后编辑一下,咱们还是以A节点为例吧,这边我怎样去引用那个所谓的文件呢?很简单,数据观察呢。这是不是有资源对吧,我要想引用你得先选上它,你这个节点才能引用啊好点一下这个勾对吧,好已经引用了对吧?诶引用了之后怎么去掉它呢?非常简单,你这个拜使脚本的话呢,你就直接拜师后边跟谁就行了。你是shell脚本对吧,Shell脚本你要想执行一个其他的一个脚本,怎么怎怎么去执行,是就BA就行对吧,BA后边跟上这个h helo.SH就行了,这个路径呢,你就以什么为准,这怎么显示你这块就怎么引就行了。
05:04
那对吧,这是不是只显示了一个hello.sh啊对吧,那你这就直接调用哈,点SH就行了,那如果说啊,那我下边呢,因为我资源中心里边是不是能创建路径啊对吧?那如果下边呢,是显示的几级路径,对吧?那完事之后呢,你就诶根据它这这个显示去解决,它怎么显示我们这儿呢,就怎么填就可以了啊行了,那这个完事之后呢,我们点击确认添加好了,那这就是引用这个资源的方式,就这么引用特简单啊来,那现在呢,我们找到工作的定义,诶然后呢,点击上线,然后点击运行啊,然后我们来看一下这个最终的效果什么样的啊,刷新一下。稍微等一会儿,哎,好了,注意观察同学们这是不是已经执行完了呀,对吧,执行完之后我们点击下边的任务实例,然后咱看谁看这个note a啊。点诶你注意观察,你看这儿是不是把这个哈打印出来了,对不对,说明我们现在是不是就引用了那个,诶资源中心的文件对吧,完了之后呢,咱们就可以给他执行了,好了,那这就是资源中心的一个使用逻辑,然后同学们大家稍微思考一下啊,你说将来我们用这个dolphin schedule对吧,去调度我们自己数仓当中的脚本的时候,你说到时候咱们怎么玩。
06:15
这咱们应该怎么玩,咱是不是可以这么做,我们可以先将需要调度的这些脚本传到哪,是不是给他上传到咱们的这个资源中心。能理解吧,那然后呢,是不是就咱可以创建工作流对吧,在工作流里边去引用我们的每一个脚本呀,对吧?呃,引用脚本,然后这样呢,调用这个BA是这道理吧,同学们,OK,那就是这么去搞啊好了各位啊,那截止到现在我们这个资源中心的使用也就介绍完毕了啊OK,好,完事之后视频我停一下啊。
我来说两句