温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好了,同学们,我们接下来呢,来配置一下历史服务,呃,为什么要配置历史服务呢?是因为咱们之前啊,咱们执行完程序之后啊,咱们那个driver就停止了,那么driver停止的话,那个监控页面呢,其实也就看不到了,所以呢,在某些情况下,我们需要看一看之前执行的这个任务的基本情况怎么办?诶,我们就需要配置咱们的历史服务啊,是这样的,那么配置历史服务呢,就跟之前一样,它也要有一些基本的步骤啊呃,这里我们来看一看,首先第一个他要去修改咱们的配置文件,所以咱们打开在咱们的文件目录当中,有一个叫做Spark default啊,有这么一个配置文件,把这个给它打开好,点开之后啊点开,然后呢,我们往下,它这里面呢,需要配置一个咱们的事件DR2和启用啊,就是启用咱们的事件啊,事件日志,那这里呢,我们拿过来放到这里,放到这里以后啊,其实它首先呢,有一个处,这没问题,然后呢有一个地址,这个地址同学们不要写。
01:00
错了啊,因为这个我们的,呃,机器名啊,包括端口号啊,都是老师本机的啊,你们需要改成你们自己的,呃,主机名,还有这个呢,是那个海豆be当中的那个什么连接端口,对吧?这是这个目录呢,要保证事先已经存在于我们的HS上面,老已经有了老师就不创建了啊,如果你要是没有创建的话,下面呢,会有一些命令执行一下就可以了啊,所以呢,它需要启动海多be集群,并且要保证这个目录是存在的啊好,接下来我们再往下修改sparkv配置文件,那这里咱们找一下。咱们叫Spark,音为我们点开啊点开呃,点开以后这个是之前咱们配置的,现在呢,我们按照这个步骤呢,把这个呢,我们拷贝一下,呃,拷贝之后往下走,那你会发现呢,这里面有个叫18080,呃,这个里面有一个LINUX18020,跟刚才完全一样啊,这个叫directory,没有任何的问题,好继续。呃,这里呢,对我们的参数呢,进行了简单的解释啊,第一个是我们web页面的端口号叫18080,第二个呢是我们的日志存储的路径,这个咱们说了事先要准备好,第三个它表述的是历史记录的个数啊,这一个个数的问题,好接下来我们要分发了啊,把咱们之前修改的配置信息给它分发一下,呃,所以这里我们来写上咱们叫Spark,然后呢,Stand alone,好,然后分发一下我们的来分发,嗯。
02:26
分发完成以后,他说了我们要启动集群,并且有一个叫history server,把历史服务也给他启动,我们现在呢,需要启动啊咱们的这个服务器了,咱们来看一啊来咱们启动一下,呃,我这里呢S,然后呢,我们咱们的啊,然后呢,启动完成以后,先启动master,再启动worker,那么接下来呢,我们要启动的是它的历史服务,咱们叫S宾,有一个叫start,有个叫history,诶给它启动,启动完成以后没有任何的问题,那么我们回过头来把咱们这个程序呢,给它执行一遍啊同学们来呃,我在这个地方给它拿过来,我们现在去执行啊,记住同学们,你们要执行的时候,千万记住这个主机的地址啊,环境别搞错了,连不上就出了问题,好回车,回车以后他现在呢,就开始在执行了,那么执行的过程当中啊,他会去读取我们的信息,把我们10SPA派计算出来啊,这个咱们其实之前已经执行过了,只不过咱们现。
03:26
带呢要看一看它的历史信息,对吧?同学们,嗯,好,现在结果已经出来了,咱甭管说结果对还是错,对吧?来咱们看看它的历史信息,这个历史信息呢,往下走,往下走大家看一下有一个咱们的网页,这个网页呢,咱们打开,打开之后呢,来往这儿放回车,回车以后大家会发现我们现在就有一个历史的服务吧,这个就是我们刚刚所执行的什么我们的应用程序,然后呢,我们就可以点击一下,点击以后大家会发现就进入到了一个当时咱们driver的监控页面,诶这样的话,你再点进去看一些信息就可以了啊同学们,所以啊,这个历史服务咱们就看到了。
我来说两句