00:00
最重要的就是你的这几天这这几个命令不能敲错地方了,我看了下面应该有也不多了,反正有同学还是回到了原材原来哈多文的目录啊,然后一看打开一看这个地方是9000是吧?啊一下就能看出来啊,一下就能看出来,所以说一定要让大家配置8020好不易在这你一看到9000的时候,你就知道他肯定起多机群了,如果两个配9000的话,你就不知道了,你你你也找不到到底是什么什么原因了,嗯,那还得慢慢去找啊,最终肯定能找到的,但是比较费时间,费时间你两个,但是我不一样啊,一眼就能看出来,更方便一点。啊,后面就这个东西说过了啊,对吧,就那个文档里边,可能是我也不知道为什么你为粘过来的,我配完了跑起来粘过来的他还有点问题啊,就很奇怪。嗯。对吧,注一下还有一个问题就是。
01:02
就这些东西啊,就这些配置文件,就你们之前也会配置过很多嘛,Co什么等等这些东吗?是吧,大家有没有尝试过把这些配置文件放到一个里边。有人试过不行吗?肯定是可以的啊,都是可以的,因为他不区分具体哪个文件里面读出来的啊,他读进去了之后,他只需要这个兼职队。啊,要建队,然后根据这个属性去拿。拿它的具体的值就OK了,它是不管你从哪个。文件里面来的。但是你不能把那个什么烟V这个文件配到点S3,这这个这个不行啊,这个肯定不行啊,我说的是四个叉ML文件嘛,还是可以的,可以的,它也是能起来的,所以说这些配置文件它做这个区分啊,就是为了将各个自己的属性做一个区分嘛。
02:06
雅安就是雅安的,HDFS就是HDFS的,如果他只搞一个什么cos,那最后配的很乱,什么东西都往里面塞,你自己最后都不知道哪些东西配了,哪些东西没配了啊,那做一个区分,这样好好管理一些,完美管理一些好之后就是。就是你们在敲命令的时候,每个班都一样,每个班都一样,就只看这个命令中文,不看看一下中文好吧,那中文写的好看的吗?中文还是有作用的,有作用的,呃,例如这个地方应该文档里面之前是102是吧,102,但是中文写的在N02上面,在N2上你就知道了,在103上面,而且其实我就算写的103。还有同学也有问题,为什么呢?因为我的题型是234,但是他的是什么123,或者说456等等这些还是不一样,对吧,所以说你具体的还是看一个中文啊,看一下中文,而且这写的在各个尖到的节点上去启动各个对没写三个吧,就是有的同学呢,因为以前班上以前带的学生他就弄了六台。
03:14
你你这写三台不严谨是吧,啊,所以非常严谨,你们的各个是吧,就你几台。都去请一下,都去请一下,看一下中文好吧,你要看命令,我看命令行就就请了,然后注意还有就是这个东西去拉了,就这两个东西看。格式化以及这个只在第一次启动机型的时候执行,知道吧,格式化这个我相信大家都知道,但是这个也是一样的。这个东西干一个什么事啊。也是创建那个内文件夹就格式化,不是报一个什么DFS什么内那个什么探广被成功格式化了吗?S30其实你执行这个命令的时候也是一样的,它也去创建了一个N2的一个公共目录。
04:09
啊,其实就干了这个事,那创建这个工作目录是不是第一次执行就OK了呀,其实它也是相当于格式化嘛,也是相当于这条命令,但是你不能把这条命令执行两次。如果执行两次以后,你的命。Name那个叫什么?Service这个东西应该有同学是是吧,格式化了两次,就那个name service,它只有了两个不同的ID。最后导致集群还是起不来。啊,有同学遇到过,就是这个过程呢,这个命令同步命令其实是相当于格式化,但是格式化的内容一定要跟第一台保持同步的。因为其实你两个是对外。对于客户端而言,它是感知不到的吧,具体的你是102的工作还是103的工作,你客户端你是不能暴露给客户端的吧,所以说对于客户端来说,他们俩持有的是同一个ID,但是你格式化两次之后,不好意思你的那个name service啊。
05:11
他有两个不同的ID了啊,不同的ID了。所以你不要两个内容都去格式化,这个你去同步就OK了,第二条就同步就OK了,同步就OK了。基本上注意点就是手动的也就这么多啊,因为大家都是粘子里个配置文件是吧,没有太多的问题啊,就是启动的时候看一看中文,一定要看一看中文啊,然后告诉大家就改错误感,就是你们经常不是看到这种错吗?对吧,或者说什么8485端口连接不上,首先你看一个什么东西端口连接不上,你一定要先看那个进程在不在。假如说哈0848。
06:02
这东西连接不上8485,是不是我们配的真能诺的呀,那你首先去看真能诺的在不在。不在,你起一下。就是你开始没起,当你不在的时候,你要分两种情况讨论,第一就是你压根没起,第二种情况就是起了,他挂掉了,对不对,这个都是不在了,都是没有,那这个时候你要注意啊,如果是这种情况的话,你根本没起,能起下就OK了,如果是这种情况,你一定要干什么。看日志啊,我发现大家就是不太喜欢看日志啊,你不能怪你们,你每个班都差不多,一定要去看日志啊。这个里面相应的不都有对吧,弄的呀,折腾弄的,那弄的哪个进程起不来,你就看哪个,具体看这。Log不要看,Out out,看了一堆你看不懂的是吧?啊没有用,你就看这个log,所有的一个日志都会打印到log里面,打印到log里面你去看具体是什么错导致的,然后再去排查,因为大数据当中啊,它导致一个错误会有很多种可能性。
07:12
啊,不是一种可能性,有很多种可能性。啊,你根本不知道,你就光看说那note挂掉了,你怎么知道,那note怎么挂掉的,对吧,根本不知道,你只能去看日志,所以说开始跟大家对应配置信息的时候,之前配置信息的时候强调了一定要把什么队长。历史服务器,历史服务器,因为你之前写的ma基本上都在本地跑的是吧,那后面不一样了,后面什么汉贝斯啊等等那些所有的任务都会在集群上去跑。啊,都会在集群上跑,那集群上就光靠控制台打印的那些日志是不足以帮助你解决问题的,那这个时候你一定要把历史服务器配上。你去具体的找他的一个相关日志来看他到底报什么错才能解决吧。
08:03
因为它表面在控制台报的错啊,很模棱两可的,根本定位不到问题,你只能去看具体详细的一个日志文件啊,才能找到他这个问题所在啊,要不然你如果说就你后面找我解决问题的时候,你日志具体没配,或者说你定是服务器没配,我也解决不了。因为你表面上看到的东西连接不上,或者说很多东西就突然挂掉了,我也不知道什么原因,我真不知道,因为它导致它挂掉的原因特别多。啊,很多都都很多种可能都能都能使某个进程挂掉,找我姐姐,我也是先去看那个日志文件,定位到错误之后再排查,一步一步的找错,你光说一下你你现在告诉我,你说我能弄的挂掉了哦,我真不知道什么原因挂掉了啊,这不知道,没有谁知道。你们从呃上哈到现在应该十几年时间了,而且中间隔了端午是吧?啊,半个月的时间,或者啊,一定要学会看日志啊,这个东西才是最重要的,日志稳定。
09:14
因为而且咱们是做大数据开发的,更多的接触到的都是一些数据,也没有什么优美的什么前端啊等等,不需要跟什么后台啊,都是一些数据,给你的是数据,你给出去的还是数据,那中间的一个错误信息,诶只能找这些日志啊,反正是挺枯燥的啊,就整天面那的东东西,不像前端还有一些花哨的界面是吧?但是咱们就不一样了啊,成天的面对数据,因为你的数据来源于后台啊,但是你返回还是返回给后台啊,你出去的还是数据,就你分析完的数据吗?啊,所以说整天给数据打交道,你不能反感这些日志是吧?啊,虽然他确实挺烦的啊,确实挺烦的,但是你不能反感他,你日志里边能暴露很多问题,很多问题吧,大家注意一下可了。
我来说两句