首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

0671-6.2.0-如何将CDH5.12的Hive元数据迁移到CDH6.2

这里我们假定一个场景,你需要迁移CDH5.12到CDH6.2,CDH5.12和CDH6.2分别是两个不同的集群,我们的工作主要是HDFS数据和各种元数据从CDH5.12迁移到CDH6.2,本文不讨论HDFS数据的迁移也不讨论其他元数据的迁移比如CM或Sentry,而只关注Hive元数据的迁移。这里的问题主要是CDH5.12的Hive为1.1,而CDH6.2中Hive已经是2.1.1,Hive的大版本更新导致保存在MySQL的schema结构都完全发生了变化,所以我们在将CDH5.12的MySQL数据导入到CDH6.2的MySQL后,需要更新Hive元数据的schema。首先Fayson会搭建2个集群包括CDH5.12和CDH6.2,为了真实,我们在接下来的模拟过程中,创建的Hive表包含分区,视图和UDF,好方便验证是否迁移到CDH6.2都能正常运行。具体如何迁移Fayson会在接下来的文章进行详细描述。

03
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    0593-CDH5与CDH6对比

    Cloudera于2018年8月30日正式发布CDH6.0.0,至2019年2月19日,最新的迭代版本为CDH6.1.1,可能马上就会发布CDH6.2。CDH6是基于Hadoop3同时包含大量其他组件的大版本更新的发布版本,许多用户考虑到未来CDH的版本主要是基于C6,而CDH5会慢慢的停止更新,所以考虑新搭集群使用CDH6,或者想把已有的CDH5集群升级到CDH6。第一个问题就是需要考虑CDH5和CDH6的差别,通过分析一些差异看能否将已有的应用迁移或者直接部署到CDH6,兼容性稳定性是否存在问题等。出于这个目的,本文会从各个方面详细比较CDH5和CDH6的差别,从而让用户能够进行正确的判断并进行相应的选择。以下内容主要基于最新的CDH5.16.1和CDH6.1.1进行比较。最后再次强调,没有最好的技术,也没有最新的技术就是最好的,永远只有最合适的技术。

    04
    领券