00:00
同学们,接下来我们给大家看一下咱们环境准备当中,咱们的源码是什么样子的啊,咱们这里呢,给大家讲环境,咱们说过了,咱们就讲雅恩集寻环境,因为我们在工程当中就用这个环境,那么在执行作业的过程当中啊,首先咱们的资源节点都有,比方说雅啊海多本的启动对不对,雅安的启动,还有呢,就是执行过程当中那个driver和ex它也要启动,否则你怎么计算呢?怎么做分布式计算呢,对不对?所以这个我们都需要去看到,可是那么多的源码,咱们从哪开始入手去看这件事情呢?首先咱们就从程序运行的起点开始。咱们要想运行一个应用程序的话,它的起点其实就是个提交,就是当我们去提交的时候,我们整个程序就开始运行了,而这个提交它调用的其实是我们bin目录下面当中的一个叫SPA3。但是呢,我们说了这是我们的Linux下面的一个脚本文件,那么如果咱们现在是Windows下面的话,其实里面的逻辑是一样的,只是不同的系统嘛,那我们这里呢,可以简单看一看,咱们打开。
01:10
打开以后,这里面调用了一个叫Spark sum me to.cmd那这个文件在这个位置啊,咱们打开,打开以后咱们接着往下,它里面又调用了Spark class two,然后呢,有个叫百分号class,这个class就是这个东西啊,叫SPA sumit,好,那么我们回过头来我们找一下这个叫class two,我们打开,打开以后你会发现里面会有大量的一些什么呀,我们的脚本内容,那么我们现在会发现在最后这个地方有一个叫Spark cmd啊,叫做一个指令,对不对,那这个指令就是我们真正可能要执行的指令了,那么这个指令我们该如何去执行呢?不知道,哎,没关系,我们先给他打印一下,看看是什么样的指令。所以啊,我们这里拷贝,拷贝完成以后保存一下,然后呢,我接下来我把这个呢来拷贝。
02:05
拷贝之后在我这个位置呢,给它来我们CMD,然后呢给它打开,打开以后呢,我回车,回车之后看一看啊,其实同学们看现在已经打印出来了,我不用再往下走了,不用往下走的话,大家有没有发现这边有一个叫做Java什么什么东西一大堆,对不对,有个叫杠CP,然后呢,里面就有一个这个东西,所以啊,我们把它简化一下啊,咱们把这个简化一下来啊,同学们看,我把这个东西简化一下,它其实就是一个Java,然后呢,杠CP这个咱们可以先不考虑,还有一个咱们再往这看,它的这个地方呢,给它来啊复制一下,然后放过来。有一个叫做什么呢?叫XMX一个G,这个呢,其实跟我们的家用虚拟机的内存有关系,这个你们后面学那个加了虚拟机的高级部分的时候会学习,我们这就不管了,所以呢,我们现在呢就把它去掉,去掉以后大家有没有发现,其实简化之后的指令就是这个样子,这个是啥意思呀?
03:04
我相信这个大家肯定是能理解的,像咱们最开始学习Java课程的时候,是不是叫Java test呀,或者叫Java hello world吧,有没有印象?它表述的是打开一个Java虚拟机来执行这个Java类,没错吧,但我告诉大家,其实你打开一个Java虚拟机就等同于干嘛呀,启动了一个process啊,就叫做Java的进程,所以大家可以看到,你当使用Java指令来执行某一个类的时候,等同于启动了一个Java的进程,这个你拿那个GPS这个指令是可以看得到的,那么我们这就把这个它就启动好了,所以啊,为了把这个呢,给大家稍微的注意一下呢,来。我们回过头来,在咱们的这个位置,我们打开咱们这边有一个源码讲解的一个我们的它啊,咱把里面的东西都删掉啊,这是我复制过来的,所以里面的东西呢,我都暂时给它删掉啊来把这个呢给它来去掉,呃去掉以后现在呢,我们写上啊,咱们叫做源码,那么这个源码当中呢,我现在呢,给大家写点东西啊,咱们写点文字性的东西来,呃,我先放过来,放过来以后我想想啊,咱们这里是不是可以往前咱们找找啊,往前找找。
04:21
呃,往前走走就拿这个吧,因为盐的,诶不对,应该还往上,上面呢,就有一个盐的一个集群的cluster的一个提交指令,所以咱们拷贝拷贝以后把它放到咱们的这个位置啊,就意味着现在呢,我们去提交了咱们的一个雅恩的应用。好了,那你这么写完以后,咱们刚才说过了,它的底层啊,它会出现这样的一个东西,叫做Java,一个SPA3IT,它等同于启动的一个Java虚拟机去启动一个进程,这个进程的名字其实就应该叫Spark sumit,所以加个括号应该就是它这个在咱们课件当中其实是有的啊,咱们可以往上找找,网上找找,咱们看看啊,来来来,咱们在这里看看能不能找到它啊,这边应该是有一个截图的,咱们可以往上看一看。
05:10
好,大家看一下,这不就是那个叫SPA3BIT吗?它就是一个提交节点的进程啊,就是这样的,那么当你去启动一个Java虚拟机,执行一个进程,执行一个类的时候,你要知道另外一件事情,它会走这个Spark sum me的什么呀?叫做main方法,这个我相信大家都能明白吧。你去执行Java hello word,你是不是应该有个闷方法,这个闷方法开始执行整个逻辑,同样道理,你的SPA sum密是应该也有个闷方法,所以啊,在我们当前的情况下,别的不管了,你把这个拷贝拷贝以后拿过来在咱们这里去搜索一下啊,咱们搜索一下来,咱们大家看一下,我们这里来,它里面不就有个叫SPA submit me吗?但是由于它是skyla程序,该LA程序当中我们说过了,该LA程序当中它用伴生对象来模拟我们的静态语法,所以那个闷方法是不是应该在SPA sumit的半生对象当中啊,所以打开,打开以后咱们往下找,往下找,往下找是不是就看到了这个闷方法,所以啊,到了这一步就开始走我们的流程了啊,咱们咱们先不找别的,得先走到这儿,先把起点咱们找到好不好,同学们,哎,咱们先说到这儿啊。
我来说两句