00:00
啊呃,昨天呢,把这个单机点运行啊,也是本地模式啊,这个案例给大家讲完了,讲完之后呢,下面呢,往下看啊,这地方是什么模式。伪分布式模式是吧,啊不正就七没有的啊不认。伪分布式模式,那你可以看一看这个伪分布式模式啊,下面是U的following就。你按照这个配置去改变一些配置文件,那它就能实现一个伪式模式的运行。那什么叫伪分布式模式呢?它跟这个本地模式和完结方式有什么区别呢?这个伪分布式模式啊,它的所有的配置信息全部是按照完全分布式。啊,有集群的话是去搭建的。啊,所有的什么配置的,但是呢,很不幸。它只有一台服务器。它虽然说它配置是按照多台复机搭的,但是呢,它只有一台,呃,这个这种模式呢,适合什么样的这个成员呢。呃,其实就适合于你们。
01:01
那种。这个电脑配置,比如说S3对吧,啊,然后呢,CPU内存的。4G。然后吃盘呢很低啊等等,那在这种情况下呢,你可以配置一台,只是用你来学习啊,或者一些测试啊,简单测试。那你要真正的开发,那肯定是不行。就是这这这种这种模式啊。啊,因为它的配置呢,是完全按照集群的模式配的。由于你的证件资源条件不够,可以产生这种资质。那下面我们看哈,它配置哪些东西,咱们说配置的一个是EDC拍。这个文件吧。文件,那我们先来找一下啊,把我的胸拟机打开。把它打开。现在平均每天得换一个五六个那个。
02:17
好,这边打开之后哈,这边你不需要那个登录进去,直接用那个CD啊,或者你们的叉。直接可以连接啊,要输密码,这样就上来了。然后来到。在这看懂了,他刚才说在哪里呀。ETC下的是吧,可以看一下啊,是不是这个etcop有个啊在这里面,那我就按照它去配置一下啊。VMEDC板。还都把下面的防晒。这样你就可以配置了,呃,但是呢,第一次呢,为了方便啊,可以带你去看。
03:00
这里面有我们日后啊需要配置的所有的文件。其实第一个就是。需要我在里面添加。哎,你看看评价是什么意思啊,这个。第一个呢是配置的是FS default。白。下边呢是as冒号斜杠,斜杠往后使的啊,9000行的,呃,这个呢,是配置的这种本机模式,本机模式啊,一会我们把它开成这个机型模式,比如说换成I度101。下面这些所有的配置呢,我们都能在哪里找到呢?在我这个笔记里面去找到,比如说这个FSTFS。他其实配置的就是。Name的地址。你现在当前是在海跑101上。那I101的name note在哪呢?但是这块呢,你需要指定一下。那你看那个官网上,他为什么没指定呢,它指定的是logo po呢。因为他是不是就这一台机器啊。
04:01
他这一台机器它就阻止了啊,所以说这里面我们要是真正的严格按照这个基金模式搭的话,那这块呢,就配置成它就不。那你再往下呢,是这个,像这个我还配置了一个D。这个呢,属于这个运行时产生的一些临时数据。存储数据的。这么两个参数,那我分别看一下系统默认是什么。复制一下来到官网上。找到什么呢?左下角啊,左下角这个地方。这是默认的配置信息。FV。你会发现它默认的是file冒号形状。你告。那这表示什么意思呢?The name of the default file system啊,默认的这个文件系统啊,默认文件系统,它这个呢是呃出在于什么,各种规则,我简单跟大家说一下,他这个file呢,相当于是本地的一个。
05:06
文件系统。文件系统,那你看这个下面这个内容,它这是EDFS。相当于把本地默认的是本地的,但是我们希望呢,把它改成HTS。其实这两个都是协议。可能他这个不懂,那我给你打开这个。发这几种协议啊。未来的话,我们都要用到,或者至少你要知道。上来了,上来之后你看一下啊,这几个协议这个区别。你看这块什么意思。是不是ettps,这是安全通讯协议啊啊,然后冒号写杠杠后面跟着这个网址是吧,那你看我们这个。
06:05
我们那个呢,是HTS冒号斜杠,斜杠后面跟的是。级名称等。那也是说这个我们需要的是把它配置成这种集群模式,那也是HDFS这种模式。默认的是本地的file。这个是为什么有些同学,呃,昨天晚上啊,同学问我说,哎,老师我配置完这个抗之后,我再去执行本地模式的时候,发现不能用了。为什么不能用了呢?因为人家默认采用的是。Five。所以说你的路径呢,都是你这个本地的啊,什么叫本地的。是不是就在在这个当前这个孩子把这个下啊。扭伤,那你这个HDFS呢?一会儿我会带你看啊,他还有一套啊。
07:01
不在这上面,它的路径就完全变了。所以说他用的是两套协议啊,如果你记不住这个,你可以类比一下这个HTTPS。就是一种租赁协议了。那是一个,那么下面呢,我们把它给配置一下。那胚胎之前呢,还有一个这个拍多版time和DR,你看看他能不认识。打这。再往下找,再找,再找。你看一下默认的,它会把这个你所有的这个数据啊存储到T啊。下,然后呢杠后面呢是一个你当前是哪一个用户,比如说是I用户,我就给你创一个,如果你是用的用户,我给你创一个root怎么定价。
08:07
啊,存放在这里面,那你看一下这里面这个是什么。系统肝功乳下的太阳房啊,我跟你说后面咱们学的好多框架。啊,默认的这个数据的存储路径都是探讨不下啊,所以说你作为一个老程序员,你要有这种感脚是吧。要指导要有这种直觉,但是呢,我们一般情况下都不会把这个数据放到系统的探索下啊,我们会把它改变到我们当前这个工程。也就是说,你看我把它改成哪里了呢?改到了OPT model还是当前,你还得问这个。然后后面跟上date time。这个步骤呢,不用提前创建,直接你这个写在这之后,系统自动帮你创建。先不用担心。我们通常都会去改变它。在之前呢,有一个二期的啊,咱老学员去企业开发工作的时候,呃,这块呢,就是非常匆忙的,就改了一下这个路径啊。
09:09
后来导致了什么后果呢?他把这个数据存储到了一个磁盘,这个磁盘呢。马上就满了啊。空间很小啊,假如说就一个G。没好几天,他就已经。存不下,那这时候涉及到了就是要重新去把这个数据啊,导到别的地方,同时要改变这个路径,那个是非常非常麻烦的,涉及到了一个数据的这个迁徙。如果说你提前规划好的话,你把这个数据存储到一个,比如说啊。一个T的是吧。所以说这个不一样啊,要注意。呃,这是这一块,等我把它拿过来。好。好在。进来。
10:01
呃,所有这些配置信息啊,统统给我粘贴。不要给我这个。各种笑。像这种这种代码没有任何意义啊,所有的这些配置信息你都能从他的官网上找到过来。像这些配置信息,这些配置信息啊,你日后开发过程中也是直接发过来直接使用啊,不要去敲这些各种这个标签啊啊,因为你把它敲错了啊,其实能查出来哈,啊很容易就查出来了,包括你班。我们每次强调也都会有人去销售这个地方啊。其实他也不是故意的啊,他怎么说的呢?这地方看我把这插入格式去掉,上来右键一粘贴。直接那出现什么后果,遇到IO啊等等字符的时候插入进去了,然后留了一半啊,所以说就会导致错误,还有一些同学呢,它上面这个标签这种地方啊,出现了这个错误啊,明显的就相当于是改动了啊,他不小心改动了,导致这个文件报错误啊,这个报错了后面我会教你啊怎么查看啊啊但是呢,呃,你在写的时候啊,强烈建议你这些地方啊,不要去这个自己手写啊。
11:16
这粘贴。直接用这个开发最高境界啊。粘贴那这个搞定之后,那下面我们再来看还需要改哪些东西呢?往这里面加一个。加一个叫high度op。加上他。在这里面改什么呢?改它的。后面我们还会学到好多因为什么,还因为雅,因为麦,因为等等这些因为,只要见到因为就该交互。其他不用管。那我们来看一下哈。呃,VM开头版,因为点进来。进来找他的家伙。
12:01
走到这儿,在这儿。那我们为什么要修改这个加厚呢,你看。The only required environment。必须的,这一个只需要一个条件是吧。你外面的变量啊,环境变量一直交控,比如说我们只需要修改的就是它啊。Option啊,已经定义好了,可以when这块环节。分布式配置这种方式的时候,It is best to set,然后。In this file so that is correctly DeFined on remote节点也是这东西呢,才能在其他节点上进行一个定义使用。你必须去配置一下它啊,否则的话,你这个远程的到其他地方的时候,这监控就失效了啊。对,今天要注意我配置一下他。证件克隆。在这里面呢,获取这个加后的变量到。
13:07
复制拿过来。然后呢,修改一下。右键一站地。所以这块呢,EV的地方通通都改它保存。这就搞定了啊,我们已经搞定了两个文件了,再再往下啊,再往下再往下呢,这个呢是HDFSL,呃,这个呢,其实是可配置和不可配置都行。你看这里面是指定HDFS副本的数量。这个为什么我在那里配着呢,因为官网上你看这块。他是不是配置了一个A。其实它是改变了他的副本数啊。那这个副本的默认值是多少呢?我们来看一看啊,猜猜几。这么厉害吗?不信?再来。
14:02
之前提前看了我的这个秘集是吧。来啊,果然是三啊,好厉害,那来看吧,这个默认的副本数呢,其实它就是这个。三啊,三个副本啊,副本的概念呢,就是说你在分别在三台机器上存储了同一份。数据啊,任何一台节点的数据挂掉啊,那他还有至少还有两份啊。同时他挂掉之后,他还会在其他服务器上再增加这个节点。就直接节点的一个副本,它始终保证那个集群上的副本数是三设置啊,当然你可以从四设成456啊,甚至十都可以,那么这个副本数多少取决于什么呢?取决于集群的机器的性能啊,比如说你的集群的机器都是。那个。他这个本呢,那至少你得背个五六份的副本。能保证这个可靠性更高一些。
15:00
那你要多像我这种本的是吧。觉得是吧,一个也差不多啊,两个就好一点,不讲啊。这是这个啊,副本数。那好,那这块呢,我们先把它设成一啊感受一下。Y在。同学一定要按这个黑包价啊,看啊包。不齐,这样开发速度是非常非常快的啊。E。这样就配完了。想想这多么简单是吧?啊,就把这个事情搞定了,好多同学连这都搞定了。简直了。接下来。就到这那下面看啊,最精彩的不用来了。格式化内动。格式化电动的这一块啊啊E格式化啊会错一堆。
16:01
第一次还好啊,只要第二次一启动的时候。基本上上来先格式化一下是吧,没事的情况格式化,格式化是什么含义啊。你们没事搁放吗?硬盘啊电脑啊,磁盘是吧。所以这个格式化呢,相当于把你的里面原来的内容全部都清空是吧。之前你们的声控老师。啊,就是。一不小心把整个一个移动盘里面两个G的数据全部各化掉。因为有的电脑一插上他的U盘之后,各种报警。没有那个非法东西。的号。然后他也没看,看都没看上去就。不化了,直接是吧。两系的导播资料没了。伤心欲绝,差点跳楼,我这一顿劝,现在拖到现在。对这个啊,要看这格式化是一样的,你相当于你这个集群。是不是什么也没做呢?啊,没做之前,那我们最好把它所有的事情全格式化掉,从零开始啊,从零开始。
17:04
但这个呢,一旦你格式化完之后,机群已经稳定了,那你就没事,不要总格式化,因为你格式化一次,你就把集群上的数据全。那根本这个群就干不了什么东西了。那行,那我们看看那个基金怎么合况。呃,目录下有一个HS。这个零零还记得第幕下还有什么吗?是不是还要排毒吗啊?其实还有一个雅啊,雅到我目前用的比较多的就是ADFS和卡都。啊,一打明天。你看这里面其中有一个命令叫内的杠。那呢,它就是form的DFS,比如说格式化这个DFS系统。啊,做这件事,那我就使用一下啊。
18:01
我这个蜻屏呢,是卡TQL加LOK吧啊,咱们加L自动清屏啊,没事敲代码的时候也是啊,尽量就。总去听一下挺好,或者这里面密麻麻的东西。这个不合适,包括我看里边那个。繁星同学,这个电脑就。很有特点。他是咋样的呢?左侧这边车代码,右侧这边呢,有个美女一直在动。我也不知道这是这是怎么发明的啊,你们可以自己没事看我盯着他一早上啊,但是我看他开发效率确实高,我也没打扰他,那可能是这个美女确实有美题。原来以为是他女朋友呢,后来发现应该是有大明星的。所以这个不知道是好是坏啊,我也没没敢去。去去说呢。但确实你看它整个一个大屏幕,他不用他用这一半啊,然后再再再敲,然后左侧一个大屏一点闪一点。
19:00
左边晃一下,右边画一下。行,那我们看一看啊FS,然后是name。格式化内控的。回家。在这个格式化的过程当中,如果有任何的提示,你说这个已经格式化过啊,你是否重新格式化,遇到任何的提示。你就需要重新更发,你肯定之前遇到什么问题,什么问题呢,就是说这里面有一些数据你没有删除掉。下这个data data就是刚产生的。之前是没有的啊,包括还有一些办公室室你没有删除掉啊,你会出问题了,出问题就停止啊,然后先清理数据之后再个什么啊,一会我再教你怎么清啊,那现在呢,目前为止来说,你第一次格式化肯定不会出现问题。啊,没有任何问题啊,只有你第二次的时候才有问题呢。好,那这个是。
20:01
就是吧,立后那下边呢,就开始启动它的内not和not在这里面都有相应的启动命令了。非常简单,所有的启动命令都在哪里呢?一。他这边里面其中有一个叫拍度啊。就是嗨多的守护进程。它可以启动拍内not的啊,启动还内。和。那我们来试一下吧,不来还边还A点。Star。掀起内蒙的啊。急。洗完之后他成没成功呢?你们之前是不是查看集成用啊杠us啊等等,那现在呢,我们用的是GPS。
21:05
GPS是怎么一个说法呢?前面是是Java的进程。那这个GPS它属于谁呢?它属于你安装的JDK,如果你JDK没有正常安装,那这个JPS就提示没有这个命令。啊,那你就要检查一下你PK是否正常,那往往如果出现这个GPS,这个没有任何命令,你看我这有一个结啊。在后面常见臭对吧。有一个。你1GPS,发现什么也没有啊。那这时候怎么办呢?啊这块啊,这个GPS不生效,那么全基变量没有生效,解决办法就是上一下你的ETC。在。啊,这样的一个Java生效,Java生效之后,那就。OK了,这是这块要注意哈。
22:02
那GPS目前。启动啊,那个节点启动下来了,那下边呢,我们再启动一下它的电能点二。今天开始。这样呢,带着呢就起来了。数名称节点和数据节点都有了,那基本上他就能干活了,那我们怎么能证明他能干活了呢?哎。他给你提供了一个web登录页面,叫度吧。101。至于是不是还101,这个是不是跟你这台主机是谁有关系啊。你你也可以在地方输入输什么的。下啊119。第二。168.1.101,我的是1001,你们的有你们自己的是吧,有什么十的192,还有这个168等等其他的啊,不管后边端口是什么呢?50070。
23:07
等会记录啊。好,那就来到了这儿。那这个地方呢,以后呢,我们会天天去查看。天气使用啊,来看一下这个总体O啊,整体什么介绍呢?这里面说了啊,还101啊9000。Active。就表示是。激活状态是吧,激活状态。那下面这块呢,是star类的啊开始时间,然后版本号当前呢是2.7.2啊,这个2.7.2的版本呢,是什么什么。在这时候下面呢,这个地方叫集群的ID。每个集群都有唯一的这个集群ID号。啊,这要注意哈,回头我们还会用它集群的唯一标识,类似于身份证是吧?还有的什么块ID啊,这个块的这些尺子的ID,后面我们详细说,那再往下呢,下面这个是总结啊。
24:05
就是安全等等。这个我们也不然不说先维印象,那这块呢是容量。9.7.2g。使用了多少?使用了24KB,下面等等这些参数。相当于这个整个集群的一个介绍啊介绍,那再往后呢,下面这个呢是date note。就是数据节点的个数啊,包括他的信息都在这里面。后面也会大家去详细一看啊,今天呢都属于热门,那比如说呢,这是孩子101,因为我们就有孩子101这一个数据节点。然后呢,在什么状态啊。容量等等等等这些信息这里面都有,日后呢,我们上家去查看啊。再往下呢,是这个电动的啊,也说他失败的时候,或者有故障的时候,可以去这来查看啊一些报告。
25:02
后边呢,这个是这个快照。会在第后面在第三天,也就下周的时候。再往后呢,像那个。开机启动的时候的一些进程啊,处理的一些事情啊,都在这儿。埔在第三天之后再讲。呃,今天我们要讲的啊,你说日后我们最常见的。这个。前面都属于了解。像这些。那这个才是重点。那这个重点呢,看你进来之后啊,也说这个它的路径这有一个。根目录是吧,跟谁相像呢?Linux虚拟机是不是也是登录了这个文件管理系统,就是这种树状结构。它这个一样啊,也是这种形式。一个根号啊,根目录下边又跟着很多很多路径,那下面呢,我们在这个路径上创,呃,根目录下再创建一些路径啊。
26:01
房间呢?嗯。FS叫DFS。定义路径,这是DFS呢,是后面要跟着你所有的操作,操作这个命令啊,比如说。你在Linux的环境下创建一个文件。路径怎么创建?MR,对吧,我要创建多极目功能。对吧,就是。V5。盖硅谷下面有个衣裤的。放屁,我们看一下,它没有任何的提示。
27:04
我们就创建这个路径,那看看对不对呢,来。就是二级硅谷进步的。这种空间呢,就跟linu下面这个木路数是一模一样的啊就。数形结构。像一个树根一样。创建了这么一个多级目录啊,你突然就会发现啊,你之前学过的好多临式命令在这里面一。啊,比如说DHDFSDFS,像这个HDHDFS和DFS相当于你后面要操作命令啊,这就是固定的一个写法。后面跟上你执行的命令,那比如说跟上什么呢。嗯。有这个。各如见。你发现各种镜下,就是他是不是跟你临近下查看是一样的。
28:00
要查看它,那比如说我要想查看这个多级目录。你发现这么多,当然他说过时了啊,你可以加刚到二。那这里呢,就能查看出你整个这个目录里面有哪些内容。你发现这些。好像都好熟哈,麦克DR啊S啊。好,那下面呢,我们来一个命令啊,大家不熟的,比如说呢,我要把本地的文件,本地哪个文件呢。WC里面这个文件上传到刚才的这个。气电上面的input的录像。你能发现,这相当于是本地logo。这相当于是0FS集群,这也是我们配置那个框的时候,这个不同协议的一个区别。如果你没有配置cos,它读的所有的文件的路径呢,都是本地啊,配置完D之后,它就会产生的是AS1相关的路径啊。
29:08
评价,那下面我们把这个数据上传到A天班上。电。上传是哪一个命令呢?这个谁呢?WCWC你说兔的原数据在本地啊,这个注意啊,本地在logo啊,目标数据在哪呢。DS。那HD的路径怎么写?还是这个书本。然后就是。这个路径你要搞清楚啊。命令把谁啊,这个原数据在这上传到哪儿,上传到连电源上。人要上传到。
30:05
试一下。上传好了,那我们来查看一下。伤心。来了。那买了之后,你看一下前面这些信息。熟悉不熟悉呢?权限对吧,哎,可充分险可执行对吧,那后面这个呢。这个。水准的主,这个是不是跟0NU是稍微有些区别了。默认的情况下,我们这个所有者的主跟使有者是一个啊,这块注意哈,这里面呢,都是这个修。超级。那这个文件的大小是。84B。那这个是上次修改的时间,这个时间,那这有一个。副本数是吧,啊,就是你备份了几个这个参数是我们改过啊。
31:02
改过生成一,那如果不改的话,默认值是。三啊,一定要注意啊,回头我会给他改过来啊。那后面还有一个大家不清楚的叫。Block size。块大小这个呢,是这个拍头啊,特有的这个块大小,那这个块大小说128兆。也就是说呢,用128兆的存储空间去存这个数据吗?想一想是不是这样的?他把这个数据封装成块啊,这一个块,这个块的值呢是128兆。什么含义?呃,大家都装过这个虚拟机是吧,装虚拟机的时候。是不是你分了一个20G的一个磁盘空间呢?那我问你,第二届示范空间你就立刻被锁住了吗?不能允许其他程序了吗?不是吧,是不是它的上限值是20G啊。
32:02
那同样道理,那么在这个一点集群上存储的数据啊,块的大小的上限值就是一百八兆啊,当然它能修改啊,后面我们可以对它进行一个修改。但是目前为止它就是128兆,那也说呢,你这个整个这128兆的存储空间当中。你只用了84B。那剩下的空间呢?其他模块是可以使用的,但是你最大只能到。是这个含义哈。当然你可以点进去看啊点。啊,第一点这有一个块啊,你要是这个大一包128这块呢,会给你分成多块啊,这里面有些块ID啊,块的池的ID啊啊。生成时间以及它的大小。包括这块,他说这块伙伴都忘了啊,从哪可以见到他,或者说这个副本存在哪上在。里面目前是101。后边的话,你产生这个集群之后。它可以存在这个任何位置,你可以看这个副本到底在哪几个上,比如说。
33:03
你设那个副本二,但是呢,集群上有102。有103104的时候。那这里面就只能有两个。一个是在零二写的,一个是103,那最终你就去102 103上就一定能找到他的副本的数据。相当已经告诉你存在哪了。这是这块,当然这个呢,你可以把它下载下来。你看啊,大陆的。就下载先下载下来啊,然后右键打开。等里边名人吗?天一啊。新博大神大帅那个是吧。行这些啊,名人名人啊。那就是整个这里面啊,这个文件的介绍啊,其实跟Linux环境下的一个文件的是非常相像的啊。那好,那既然在这个里面有了一个输入路径,那能不能在那个h Di上跑一个word呢?
34:07
呃,我要求输入的文件是在这个user I input下。现在呢,整个这个机型我们已经配置好了,然后呢,我们要执行腾讯并。开动了执行驾驶。去驾。架在哪里?在动吗?卖6I动吗?Word。输入文件在哪,就是安五。这个路径可不是利用这环境下路径了啊,它就变成了HD上的路径了,这你要注意啊,这个事情啊,求过来。然后把它输出到哪呢,依然输出到外上规模。
35:07
同样,这个out依然不能提前存在,否则报什么?是吧?那这样跑一下啊走。执行完了。执行完了成没成功的去哪去看呢?依然来到这个走。那你观看一下这地方就多了一个文件的啊,然后这个success这个大小依然是零它。这个那这个值我们怎么观看来打开。就达到了下。右键打开。是不是有啊。同学肯定说,那你这太费劲了啊,那你这个数据量很小是吧,我可以下载下来,那我不想把它下载下来进场查看呢,怎么办呢。
36:03
依然有命令DDFS,然后是DFS。杠看你在nu下查件,查看一个文件里面内容是。就是cat,就是cat,那这个文件在U微博下面的out。然后下面的行。怕那些?对。走。配不?价格查看呢。肥肠啊,两种方式都可以啊。都可以,而且真正的在开发中的啊,肯定是这种方式啊。不会把它它下载下来,那那个数据量量超级大,我把它下载下来。啊,这就是这个集群的一个非常简单的一个操作啊。
我来说两句