温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
嗯,同学们,我们刚才呢,把咱们的这个Spark集群模式啊给大家演示了一下,呃,那么我们提交应用程序的时候呢,这个有一个参数叫杠杠master,它其实表述的就是我们环境啊,就是你有那么多的运行环境,那么这个环境是什么呢?诶,我们用杠杠master来指定一下啊,比方说有local啊,这里呢,还有Spark冒号两个斜杠LINUX1和7077啊,那这里呢,我们就会有一些参数呢,需要给大家说明一下,那么大家可以看到,首先第一个,呃,在我们的这个提交参数当中,有一个叫杠杠class,它表述的就是Spark程序当中包含的主函数的类,说白了就是你的应用程序,你自己写的那个word count那个应用程序啊,就是我当前要指定的杠杠class啊,当然了,我们给大家准备的呢,是我们官方的案例啊,咱们叫做Spark派对吧,嗯,然后接着往下,下面是什么呢?叫杠杠master,我们刚才说过了,就是Spark程序运行的环。
01:00
环境啊,有那么多的服务,那么多的Spark服务,你到底想连接哪个服务啊?诶这个服务呢,就是一套环境,比方说可以有local啊,有Spark的三环,还有咱们后面要学的雅安环境,其实有很多啊,没问题,好接着往下,下面呢是我们叫ex memory,这个呢是我们的计算节点,那么所以它的内存是非常重要的啊,它的内存越大,那么我们的计算能力不就越强嘛,肯定是这样啊,然后呢,可以指定它的内存,还有一个叫total。这个course呢,你可以理解为就是CPU的核数,它指定所有的ex的核数是这样的,比方说我指定有20个核,那么每个ex是两个,那么这样的话就需要十个ex,对不对?哎,我们的参数可以这样做设定啊,是这样的,然后下面呢,是我们的ex的course,它就表示的是每个ex的CP的核数,咱们刚才不说了吗?如果你设定为二,这边有20个,那你就需要十个ex,对不对,诶就是这样啊,还有下面呢,有一个叫applicationli价,这个表述的含义呢,就是我们所需要的那个价包,大家可以看到在我们这地方呢,就是架包的那个路径,你把你打好的那个架包,诶指定一下,它会上传到咱们的集群当中,上传到咱们的环境当中,这样的话,在运行的时候,可以找到这个价包,找到这个类它就OK了啊,这是我们的什么,我们的一些参数,那么后面还有一个咱们叫什么呢?叫。
02:33
这其实就是我们的命令行参数,因为我们在给大家准备的过程当中,我们是需要传一些命令行参数的,像咱们给大家准备的案例当中啊,大家看这里面就有个十,这个十啊,它表述的是我们执行十个任务啊,这个在运行过程当中,大家应该是能够看到的,这边有个什么呢?叫task,什么2.0 3.0,然后这边有个什么呢?叫十杠十。所以啊,这个呢,我们给大家什么呢?说一下也理解一下啊,就是我们这个十是干嘛的,它就是命令行参数啊,就是这个意思啊。
我来说两句