00:00
好,接下来我们来看一下data note多目录的配置,在生产环境下,Data note的多目录配置非常重要。你想啊,我们这一台服务器,假如说刚开始这个,呃,企业刚刚创立吧,啊,这时候数据量比较小,那我只挂载了一块非常小的硬盘。随着公司这个业绩猛增,对吧,海口妊娠丸卖的这个大卖,哎,数据量特别多,那这时候我原来这台服务器啊,已经要满了。啊,那怎么办?我可以考虑在上面增加硬盘呢。那你增加硬盘,那我能把原来这个数据都删了吗?不能。还得保留好吧,还有一点,那我增加这块硬盘存储的数据会跟你原来硬盘里存储的数据一模一样吗?如果一模一样的话,那还有意义吗?是不就没有意义了,哎,所以说这里面啊,Data note配置的多目录,那每个目录存储的数据它都不一样。都是用来存储数据的。
01:00
那行,那就来配置一下date note动录,哎,就假设我们现在这个集群你看啊。我现在集群已经正常工作了,对吧?哎,正常工作,那我在这个工作集群上增加硬盘。而且是动态增加对吧,哎,那你看我们就可以这样的配置来到这个a set。配置一下再增加两个路径,那这是什么协议,是不是本地这个协议啊,本地协议往这面增加。啊,一个呢是DATE1,一个是DATE2。那看看能不能工作,那还有一点我这个配置。能分发吗?这个配置能分发到1021314上吗?为啥呢?哎,你看啊,如果在生产环境下,你是不是得挂了几块硬盘,那我这个这这个路径就配成什么样了。那我每台服务器的配置一样吗?不可能一样对吧?哎,但是呢,我们这里是可以分发的,为啥可以分发呢?因为我恰巧我这三台服务器的配置是完全一模一样。
02:00
哎,那我是可以分发,嗯,那你要不一样,那你就自己配一下好吧,那行,那把这参数拿过来。来到ETC。Hadoop啊VM,我们这里呢是a s set进来之后O插入。行,那我就分发一下吧哈,SSYNC啊A。知道哈,在生产环境下呢,一定要看好你的这个,呃,集群的配置是否一致,一致的时候你再分发,不一致千万别分发。那好,那我分发完毕之后啊,那接下来呢,我们就来向这个机器,我先得启动一下,重新启啊重启。重启还是有必要的。呃。Stop DFS点谁走?重新开一下集群就可以。这个还是比较快啊。那sb start dfs.H走。
03:04
好,启动完毕了,启动完毕之后啊,你去这个date目录下去看一下。你会发现这里面多了两个路径,一个是DATE1,一个是DATE2。看到了吗?你来到江山也看一下。看一下DATE1DATE2对吧,嗯。一二都有了。那这里面的内容它一不一样呢。贝塔一。看他一。再见。Current,再见。哎,到头了,目前是空的吧,对吧,哎,目前这是哪个路径啊,呃,现在呢,是相当于是。DATE1的吧,哎,对一的目前是空的,那再来。CD这条。进来。
04:03
Current。OK,那这个。对吧,诶第二个路径它也是空的。那下面我干一件什么事呢?我向这里面上传数据,呃,上传数据,我回到这个位置吧。我回到这叫hi do FS-put WC点价上传到这WC的,这个你可能不好理解,嗯,来一个能看懂的刘备吧,啊刘备到跟目录。好上传到集群,那我们来看一下啊,看集群能不能正常工作。刷新。好,有了刘备打开。刘备,OK,这个没问题,没问题。之后我们来到。嗯,CD date date,下面DATE1。先进入到第一个目录。Current。Final OK吧,进来进来之后你看。
05:01
是不是有值啊,我这个路径是有值的。叫PWD,我截个图。OK,那这个干掉干掉,这是第一个,那我回来op pd hadoop。到这里面CD date2,我再来到第二个路径。嗯,CD current,嗯,再来current,嗯,Find好,到头了,你发现第二个有值吗?美指那就证明了说哎,这个第一个路径里面。对吧,哎,这里面是存储了数据的,那第二个没有存储数据,那就很证明了,对吧,这两个存储是不一样的数据。那生产环境下呢,就是这样去增加对应的这个磁盘。对吧,只要重启一下服务器就可以了,那这种在生产方向非常啊,用的比较多啊,那这边大家在思考问题啊,思考什么问题呢。你看刚才呀,我增加了一块磁盘。
06:02
对吧,我增加了一块磁盘,那我这是空磁盘呢,里面什么数据也没有。那别的磁盘你看原来这块磁盘已经十个G了,那其他这个一个G,这个八个G,有这种情况吧,因为我是说这个磁盘空间不够了,我才会考虑增加磁盘。那现在。我想让这里面的内容给他分一点儿啊,让他尽量均匀。这个需求不过分吧?是吧,这是很现实的一个需求,那怎么能让这个原来已满的磁盘的空间的数据传到这个另一个磁盘里面呢?让它数据尽量达到均匀呢?哎,这里面在生产环境下就有一个3.x的新增性,记住它是3.x的新增性,在2.x系列没有这个功能。好,那什么功能呢?说生产环境,由于硬盘空间不足,往往需要增加一块硬盘,刚加载的硬盘没有数据时,可以执行硬盘数据均衡命令,它针对的是单节点内部。对吧,这个102服务器内部的磁盘之间的一个均衡。
07:03
好,那它怎么均衡呢?首先他要执行的这个。啊,说as啊,Dis balance,然后干plan,生成一个平衡计划,那记住因为我们现在我是不是用虚拟机模拟的,我虚拟机里面是不是就一块硬盘。什么意思,我就一块硬盘呢,我这个虚拟机装在了D盘吗?嗯,我这装来了个地盘,我这地盘是一块完整的磁盘,所以说你我这虽然说配置是两个路径,但是呢,它实际还是一块啊,这个没法演示啊,但是给大家说明情况,在生产环境下,这个是肯定是可以用的啊,能懂吧,你这是不同的两块硬盘,那就是物理上有独立的这个地址的。好,你先执行一个计划,执行完计划之后呢,说哎,这个执行均衡计划啊,还do这个as balance sir杠执行先生成,然后执行。执行你刚才生成的这个文件,然后查看当前按均衡任务的一个执行情况,那你可以用它去查,然后你要取消。
08:03
执行他,哎,你启动这个计划之后啊,觉得它执行时间太长了,你可以把它干掉,那现在这个我没法演示啊,你可你看一下啊,Balancer-plan啊,我现在应该是103吧。嗯,102。OK,我是102啊。102改一下。我是一块硬盘啊,它没法生成啊,生成不了,你看balance not needed比就说啊,目前这个计划呢,它不需要。就这一块硬板上怎么生成啊啊行啊,但是呢,这事呢,要知道在生产环境下,这个东西非常重要,能懂吗?哎,好。
我来说两句