00:00
然后我要讲第二个案例之前呢,给大家说一点事情,就是这个乌子这块啊,首先还大家还是没有看,养成看日志的习惯,对吧,它有log丝,我没有提,没有提,他肯定是关于这个屋子所有的logo在在吧,对吧,你进到那个log丝底下。屋内他自己的。东西在这就是说你的一个任务,关于你任务啊,或者东西还有一个注意,其实还有一个是这个。凯德这个东西在哪见过,他们看里边对吧,我之前讲过这个屋是不是自己发布的一个包啊,对吧,它是一个外部工程,它如果说你启动,还有说嗯,你发布外包的时候一些异常啊,在这里边看具体的任务的一个错误在这看。两个日志文件相对来说,对大家来说比较重要的,比较重要的OK,然后还有同学会遇到一个这样的情况,就是说GPS一看也没有那个什么to的那个。
01:04
没有对吧,然后就stop呢,他又说一个什么文件存在对吧。什么一个PID存在对吧,其实你看一下那个PID的路径,你能感觉到它是在哪啊O杠,So,这是一个目录,然后在那个TP。这下面如果是启动的话,它在这下面有一个Z点偏低偏低,那大家出现那种情况是什么原因呢?就是因为UZ这个东西啊有错了,异常退出了,他不会把这个PID给删掉,就跟以前所学的那个进程,所有进程都一样啊,只不过说以前那个PID呢,都在这,是不是你看到的有什么PID,你看搜PID在这了,对吧,那PID在这,雅安的manager在这,Manager在这那五内上它是在。这个地方serve啊,TT在它自己的维护这啊,就是不好找一点啊,不好找一点在这,那你要是真的异常启动了,你要想重新启动的话,你是不是要把这个PID给删掉,然后才能重新启动了,要不然他一直说这个PID存在啊,这两个点,两个日志啊,要大家去看一看,如果报错了去看一看,看一看,还有一个就是那个。
02:18
啊。还有一个地方就是8088端口那块是吧,也是看错误日志的啊,错误日志的OK,然后我在讲第二个案例之前呢,我把我的一个集群环境给取消了,这是网,然后然后stop d fs.ss。然后雅安刚才是启动了,雅安没起。把起来model,然后CDH。大。然后这边这va history,我上午我走这边应该没关,看一下应该还是七这history没关啊在OK,那就是准备环境HDFS这块的一个内容啊起来了,然后接下来我们看第二个案例,第二个案例呢,就是我们要做一个逻辑调度啊,执行多个任务啊。
03:11
那我们会执行两个脚本。第一个脚本呢,同样的还是打一个,就还是将我们这个p1.sh,第二个脚本呢,就是往这个p2.log,或者说我们把这个路径改成一样的吧,到时候好看一点,直接改到OD model。啊,这个打印到哪都无所谓,只要你艾特硅谷用户有写权限就行了吧,啊哪个目录的无所谓,这样就好看一点啊搁一块第二个任务呢,就是打印一个还是同样打印的时间,然后到P2点呢。到P2点到是这样的,然后我们是第一个任务执行成功了,我们来执行这个第二个任务啊,执行第二个任务,那我先那我这个地方我就直接在这儿。CD到哎,在这是吧,在这重CD到杠里面有个上,还是用这个目录,还是用这目录那V一个P2点S sh.SSH把我们这个拿过来。
04:10
你看它实际的对等目录在这个并步下,不是在那个S并步下啊,在并步下OK,或者说你不带这个全路径也可以吧,也是能执行的相对路径每一个都是有的。赶紧来保存退出退出。好,那这个文件有了,接下来你是这个交或者这个是不是要改一下呀,要改了这块带大家改一下。呃,这这些是什么东西,关掉。啊,这个是刚才做测试用的,对吧,现在就关掉了,这没有用。这我直接在这改吧,这个是是我们上午打开的那个对吧,怎么改呢?来添加一个,那命名就不能要一样的了吧,要不然不好引用嘛,至于这块叫什么名字无所谓啊。
05:05
你想要什么叫什么对吧,这就是一个变量名,相当于声明的一个变量迷,我们还是放在这,就加了一个这东西,然后是这块我们要动一下吧,这个是片吧片,然后这块我们是要动一下。来把这个action啊。复制一份。它也是一个行动节点嘛,复制一分之后,那怎么改呢?这个地方上面的改成什么一对吧,这个地方通通改成一都要改一下,然后下面的这个地方呢,改成二,改成二改成二好,然后还要做一个地方都哪。这个我们叫摄像做的一可不一样,这个叫摄像NO2,两个命名一样,不能重复吧,好两个节点还OK,动了几个地方,那你想想看,这个如果成功了,是不是不能够到来到哪CTRLC是不是这样弄一下,那它成功了就走二了,二这边结束就结束吧,哎,如果一失败了我们就直接走,失败了我就不走二了吧。
06:12
哎,就这样的,那这样改一下就行了,几个地方要注意一下啊,这是。啊。哦,对,这个地方改成一样,这个名字要跟这个保证一致,对还有一个这个地方就是所有的你要只要动的这个里面弄的相应的名称,它都是一个声明嘛,相当于一个内部一个变量,你改一下,注意改的哪几个地方呢,标一下这改了吧,然后是关于你要执行的两个文件。啊,你要执行的两个文件要改好,然后加了一个什么。X节点加了一个X节点啊,然后第一个节点成功之后呢,我们到这个二到这个二二结束之后就直接结束了,然后这个地方只要动一下,相应的加上一个阿尔法,哎,是引用前面那个变量零的,用前面一个变量零的,那这样一改就行了,这样一改就行了,就OK了,那就是实现。
07:05
多个任务逻辑掉落了,逻辑掉落了是这样的,然后我们把那个。重新把那个东西给删一下,重新上传一下吧,因为现在东西不一样了。然后这个地方是B哈,FS-RM-R。着爱的硅谷。然后下到。晒下面所有的内容啊,删除一下。哦,还有一个屋Z杠对吧。OZ-APS是这个目录下吧,走一下。好,这边删除了,删除了咱们可以看一下啊。好,零零端口打开一下。
08:06
User艾特微博,然后APP,然后晒,现在空了吧?啊,现在空了OK,那接下来我们把我们自己的刚才改完的东西给它上传上去吧,啊,那这个地方就只能写一个全路径的CD出去吧,在这op pd model,然后是CDH哈度啊,然后B。B好多号FS杠。当前目录有一个shell项,所有的内容到user。爱的硅谷,然后是五杠APS,然后是到这个目录下吧下。然后我们上来看一眼。哎,P1P2,然后flow交交点都有了,都有了,那接下来我们同样的来执行一下这个任务,执行一下这个任务。
09:01
啊,这里面配置文件就跟刚才我们所讲的是一样的啊。啊,删除啊这个东西,把这个东西拿一下。哎,这个目录不对了是吧,CB除去啊,在这我们写的是B目录开始的写的是相对路径。走一下。哦,是我我屋还没起呢,我只起了SDFS对吧,屋没起一下屋屋Z d.sh start走下OK,这边S看一下这个屋Z的进程在这吧,啊不放心的话,我们是不是到这来再。102。一万一是吧。这个页面它每次都是要刷新,这样就OK了,然后我们把这个任务呢,重新提交一下。走一下。那同样的有一个任务ID对吧,任务ID刷新一下在这。
10:06
他已经提交上去了,提交上去了,我们同样的可以来,这个他都口0308。刷新一下,他提交了两个任务吧,就说明这个地方已经第一个任务执行完了,是看他的名字上弄的一,上弄的二,对吧,刚才我们取了两个名字,这边应该已经走完了,走完了。当教成功了吧?成功了就OK了,那接下来我们去找一下这两个日志,第一如果找日志怎么去找history这个是什么?打印到一点了,好吧,对吧,点了点进来。然后看map阶段这个东西在哪执行的。同样的点进来在104对吧,啊104,那我们去104看一眼。
11:00
是我改,我改到那个model下了对不对,C do model。P1在这,哎,P2也看到了,说明应该这个P2也在104执行的对吧。P看了一下这个P一点哦。是我们下午刚才的一个时间吧。那看一下这个P2点走一下。二差个23秒是吧,还差个十几秒,十几秒OK,那我们看一下这个是不是真的也在104执行的退回去。找第二个任务吧,第二个任务在这黑sir,同样的点那个黑sir,然后看到一个卖货阶段。点进来关于它的一个ma task吧,哎,是104吧,是由104执行这个任务的啊,104执行这个任务的,那所以它最终的一个日志打印在都打印在104吧啊都打印在1104 OK,那你做测试的时候,这个东西是不是102 103104都有可能啊。他是看资源啊,看资源就是这个由。Resource manager来分配的,他想当时看资源谁比较OK,他就把这个东西发给谁,发给谁去运行了啊,去运行的这块你没有办法自己去控制的啊,去控制的那你这块两个东西。
12:15
就是你有两个任务可以互相走。互相逻辑调用,那你三个四个,甚至说第一个走完了,我想走二,如果说失败了,我想走三也可以吧,那是不是这一块再加一个什么。就非要我不走,非要了。我来一个是像NOTE3可以吧,然后失败了,我走三打印个什么日期,到那个P3点方法也可以吧,那有这个东西,你想想看,这个就是。Work flow工作流是吧,哎,它这个配置文件就是整个的什么。流程图啊流程图,而且应该有的同学也看到了,在哪可以看这个流程图啊。下一个。整个的对吧,哎,它是从start这个节点开始,然后走摄像not的一啊摄像头这个绿色的说明是成功的啊,如果失败了的话,来看一下那个失败的是这个地方不是失败了吗。
13:09
失败了是什么?红的吧,哎,红的啊,最后是这样走的,它不是绿色的,它是红色的啊,走的什么节点都相应的,这个流程图dad有有效。有无环图吧,有效无环图就是这种连接起来的,一个节点,一个节点连接起来的等等。然后关于这个交va的一个配置文件啊,所有的都在这儿,是不是你看一下这里面东西。是不是我们在哪写的交点里面写的吧,相关的内容对吧?啊都有都有啊都有,最重要的就是这个东西交付零付,这它会打印一些什么错误信息。那你一定要切记,无论你第一次运行成功与否,你都要点进来看一下,看这个东西能不能显示,刚才有的同学就是只显示到这了吧,对吧,啊就有有的人就浏览器就这样,它就显示这一些,那这样就不好啊,就不好,你就没法看错误吧。
14:05
啊,没法看错,怎么调呢?对吧,到底是你集群搭建的有问题,还是你这个任务里面写的有问题呢?都有可能啊,所以说一定要能看到日志啊,日志对大家来说是非常重要的,特别大数据这一块,你很多东西你没有办法看到实际的内容的,不像什么前端啊那些东西啊,他可能看到实际的一个效果,那大数据这边只有日志文件给你看啊,所以说日志对咱们来说是非常非常重要的啊,学会看日志。
我来说两句