00:00
好,接下来我们来看一下这个第四章常见的一些错误解决方案,简单给大家说一下,那这里面如果你抛的异常说这个连接resource manager啊,没有连接上,那其实呢,有可能是你防火墙没关,或者是你的盐呢,压根就没启动啊,这个你要查看一下啊。嗯,再往下呢,这个主机名称配置错误,有同学这个不小心呢,把主机名称配错了,还有IP地址他没有拼通对吧?嗯,IP地址没有打通的情况下,他就进行后续的操作啊,这也不允许,还有呢,SSH有的就没配。或者说呢,SSH啊,配这个到这个103啊,104啊,还有这个102少配了一个。这种情况也有。还有最多的情况是这个。有同学啊,对对,这个linu系统呢,操作不是特别熟,一会儿呢用root用户来启动集群,一会儿呢用爱特硅谷账号来启动集群,那这里面就会导致这个集群混乱,哎,那这里面只允许你用一个用户来启动,而且我们这里面通常情况下用的就是艾特硅谷账号进行启动,在root账号下不要启动这个集群。
01:02
这里面要注意一下啊,行,还有呢,各位同学不是特别细心,在改这个配置文件的时候啊,啊不小心呢,这个嗯,直接不进入到这个插入模式,比如I或者O这种插入模式,直接进行粘贴啊,这种也有。还有呢,不识别主机的名称啊,你说报你说unknown host exception,那有的时候呢,是因为你的主机名称映射没有配,还有一种情况,有个别同学那个主机那个起的名称叫hideop或者HIDE000啊这种呢,会跟你这个系统的一些这个。呃,命令发生冲突,那不要起这种特殊名称啊。再往后呢,说这个data note和name note,呃,进程同时只能工作一个啊,也就是说你name not启了data note下线,Data note启动,Name note下线,那这个呢,其实咱们之前也给大家说过哈,呃是这样情况。假如说呢,你第一次进行初始化的时候,会生成一个集群的ID,对吧,之前给大家看过了,它有个集群ID。
02:02
跟他呢是配套使用的。那之后带动的在启动之后,也会和内蒙的生成同样的一个集群ID相同的。然后啊,我们突然间。把这个内幕动作杀死了,或者说鸡群他自己宕机了。那怎么办?哎,有的同学上来直接就直进行格式化,生成一个新的name node。然后再进行启动,那他能启动成功吗?启动不成功。哎,原因是因为他的name node和他name node的这个集群ID已经发生了变化。那么他这里记录的,比如说电线动作记录了,仍然是上一个内动的对应的集群ID,那么他们两个之间无法建立连接,只能同时有一个人在线啊,那这种情况怎么办呢?哎,记住。呃,三招啊,三招格式化之前删除电动的啊,这里面记住啊,它里面少了一步,正常的要先杀死进程,把所有的进程全部停掉。停掉之后删除data note里面对应的那个date。
03:04
是吧,啊,默认的是在time目录下,如果你改了的话,那就把这个我们一般是改到这个data目录啊,把这里的数据删除掉,同时还要删除那个log日志也要删掉。记住是102 103和104同时都删除,然后重新格式化启动集群就OK了啊,这个呢,也是大家非常常见的一个错误啊。啊,要注意一下,然后执行命令不生效。这个地方要注意,有些同学啊,他在那个word里面这个命令,Word里命令呢,有的时候他不小心这个word系统给生成有中线,还有这个长长总线,你能看出来吗?啊,它俩是有区别的啊,正常的命令呢,应该是用它。哎,那这个系统呢,有的时候直接给你生成差了。啊,你说我海哥,我这个命令跟这个输这个word里面一模一样啊。哎,其实就差这么一点点都不行。下说GPS啊,进程已经没有了,但是重启集群提示进程已经开启,那这个时候怎么办呢?啊,原因是在linu目录下呢,有一个time目录中存在启动的临时文件,那你可以把这个临时文件啊给它删除掉就可以了。
04:12
还有各位同学用这个GPS说GPS不好用了,那这什么?哎,重新一下这个ETC profile就可以。个别同学这个8088端口号连接不上啊,连接不上啊,这种极个别的同学啊,那你可以把这个呢,哎,这叫主机名称映测对吧?哎,这里面把它给注释掉。就能够恢复啊,这是几种常见的错误啊,那除了这几外几种之外啊,呃,我再给大家演示一个现象啊。现在正常是我这个集群,我希望呢,把这个out put2给它删掉,那怎么删呢。诶看这有个小按钮,删除按钮是吧,我是不是直接删,能不能删掉呢。看提示这个图。说你的权限被拒绝了。啥意思啊,你看啊,这里面说你这个用户呢。
05:02
没有对应的对我操作的相关权限。那怎么办?还记得我们在配置这块的时候吗?嗯,找到基金配置。这个地方我说啊,这个地方我们先不配置它,你说配置APS网页登录使用静态用户为艾特硅谷,然后可以对这个静态is页面进行相关操作,说的就是它。你说对这个页面我有相关的操作权限,那你需要。在对应的这个哪个地方。这是Co set里面配置,那么把这个配置信息加上。呃,我们来到。C。退出这个账号啊,来到艾特硅谷信号。ETC。VM进来。把这个配置给补上哦。
06:00
好搞定。搞定之后别忘了分发,那这里面我分发的是这个car好。走完之后那集雪你是不是得重启一下呀,看一下啊GPS啊。对吧,诶my headoop stop啊有了这个脚本啊,就会非常轻松。好,已经关闭了,那再查一下GPS。对吧,哎,那我们把基金启动。其实啊,就是。呃,你们前期啊会遇到各种问题,后面呢,天天操作这个集群啊,想遇到问题都难,你像到我这到了我这种状态。想找一个bug太难了,嗯。因为怎么玩他都没事儿。
07:05
随便玩这集群啊,那行,那现在这个集群就已经再次启动,那我们来查看一下这个页面是吧。OK,然后点击这个按钮删除。你看现在就能够正常的删除了啊,非常简单啊,那么来看另一个事儿,还有一个小事啊,进入到input。看一下这里面说这个副本啊,是三对吧,嗯,我从头看吧,说这个文件的权限呢,是嗯,可读。可写,但是不能执行啊,然后呢,属于谁呢?属于ID谷账号主呢是super group啊超级主,那这个文件大小呢是36B啊。创建时间,这个时候最后一次修改副本呢是三,那这里面还有一个块大小说是128兆,是什么含义呢?哎,说怎么有个块的概念呢?啊,这个块的概念呢,是说呀,你这个文件最多只有128兆,是你的上限,就类似于我们那个虚拟机,我们配置说50G,那只是它的上限是50G,是不是它真正的有50G呢?不是啊,没有,就类似于你看它真正的大小只占了36B。
08:13
那我这里面写上来说这个块大小是128兆,那是不是它就一定占用128兆最大空间,其他人不允许用呢?不是,它只是占用36B,其他空间仍然能够允许别人使用。啊,这是它的一个特点啊,那这块给你看一下那个APS。嗯,把JDK传上来啊。之前我们传过一次hi do FS杠,Put。OPT model。啊,萨尔JDK上传到根目录。给大家演示一下啊。按上上来之后呢,我们看一下它。这个JDK大小多大呢?是185.98兆,那我当前块大小180,那我是用几个块来存储的呢?
09:06
看一下。打开打开之后,这里面首先是块零对吧,块零的大小是这么大,那这是多少啊,128兆。啊,128兆,那它第二块呢,看还有一块BLOCK1大小,就是剩下的内容。啊,再给大家补充一下这知识点是吧,那正常这个下载啊。那后面呢,就有这个块的ID啊,还有块十的情况ID,那我这个块呢,数据呢是存储在102103104上都有,那看一下一呢啊零啊零这里面也是三台服务器都有。这是这个,呃,一些闪西的知识点啊,给大家最终综合总结一下,那整个这个入门这块呢,我们就讲完了,那给大家稍微回顾一下,还多概念这块大家只需要掌握一下hi doop的组成就可以了啊,那这里面就是hi多1.s和2.s相关的一个区别。
10:01
对吧?哎,那1.s呢是map,既负责计算又负责源调度,到了二点X1列呢,是map负责计算,雅N负责的调度就搞定了,那来到这个第二章这个模板虚拟机的准备,那这个大家一定要会,至少要练个三遍以上啊,那第三章呢,是完全分布式啊,那这里面本地模式了解一下,完全分布式呢,属于绝对开发重点,至少搭三遍以上。啊,就这么简单。那这里面对应的面试题呢,只有两道,一道题呢是常用端口号有哪些,往往呢,是由这个HR打电话的时候提前问你,如果连这个都搞不定,那HR直接就把你废掉了啊,那另一个呢,就是常用的四个配置文件啊,是呃,应该是五个啊,五个那分别是对应的Co site a STEM,还有一个呢,是斯。就这些内容啊,那以上呢,就是我们花了一天多的时间,嗯,学习的内容。
我来说两句