温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
啊,接下来我们看一下第七章HTS数据的一个迁移,呃,在生产环境下呢,这个集群迁移啊,啊用的也比较多啊,尤其是这个有老的集群啊,一套老的集群,然后呢,我希望将旧的数据迁移到刚搭建完的集群里面。那这种场景其实比比皆是,尤其是已经呃搭建海德堡集群呃,两到三年的这种公式。那涉及到数据迁移的功能啊,也非常多,比如说这呢,是2.7.2这一套。对吧,那我实际上将现在的数据呢,比2.7.2的迁移到3.1.3。那你怎么做?对吧?啊,你是单纯的将还多版本升级,还是说将这里的数据直接拷贝过来,然后保证正常工作,哎,通常的办法呢,我们是把数据拷贝过来哈,而在新的集群上进行一个工作。OK,好,那这个集群的这个呃,迁移啊啊分两种哈,一种呢,是阿帕奇与阿帕奇集群之间的一个数据拷贝,还有一种呢,是阿帕奇与CDH集群,还有这种呃,不同的这个呃,发行版本之间集群的一个拷贝都可以去实现啊,这是没有任何问题的啊,那首先我们来看一下阿帕奇跟阿帕奇的。
01:12
对吧?啊,那这怎么玩呢?还记得这个命令吗?叫CP。ICP呢,它主要解决的是两个服务器之间数据的一个拷贝。对吧,哎,那它这个命令呢,叫啊ICP啊杠R啊,然后原数据,然后目标地址你可以拷贝过去对吧,这是原数据,然后这是目标地址啊这呢是原数据,这是目标例子。诶,你可以在当前节点也可以呢,在目标节点往外拉,对吧,还有一个呢,是不在这两台节点上。都可以进行数据的拷贝,功能非常强大。那其实呢,呃,在这个多果集群当中,也有类似的这么一个命令,它叫distcp。实现了两台集群之间的一个数据拷贝。那他的语法呢,是这样的哈。叫hadoop distcp跟这个功能是类似,你在哪对不对,然后这个呢是原数据。
02:07
比如说你把这些数据要拷贝到哪,那比如说拷贝到这儿啊,拷贝到这儿好,102呢,你可以认为是我们的102103104这个集群,然后呢,你再搭建一套105106107。好,那它的内no呢,一个是装了105,一个装在102啊,这个地方指向的都是内no的地址哈,啊内no地址,然后呢,你把这里原数据拷贝到这对吧,往这考,那这是原数据,然后这是目标例子。就这么简单就能够实现,好吧,那这个在它比较简单哈,我这里面呢,就为大家演示了,因为光搭这个集群啊,就要花费很长时间,但是呢,实际演示的时候可能一分钟完事了。那还有一种呢,像这个阿帕奇和CDH之间跨集群的一个拷贝,那他这种拷贝呢,呃,稍微要麻烦一点点,哎,这里面也给大家做好这个文档了啊,由于现在啊大家这个呃没有学CDH,所以说这块呢啊先暂时了解,如果后续呢,有需要的话,其实咱这块呢,官方是给大家之前录过视频的。
03:07
哎,直接可以来来取视频啊,这里面有详细的这个声明文档啊的一个配置啊。OK吧,行,那这呢就是集群间的一个数据拷贝。
我来说两句