0593-CDH5与CDH6对比
1
文档编写目的
Cloudera于2018年8月30日正式发布CDH6.0.0，至2019年2月19日，最新的迭代版本为CDH6.1.1，可能马上就会发布CDH6.2。CDH6是基于Hadoop3同时包含大量其他组件的大版本更新的发布版本，许多用户考虑到未来CDH的版本主要是基于C6，而CDH5会慢慢的停止更新，所以考虑新搭集群使用CDH6，或者想把已有的CDH5集群升级到CDH6。第一个问题就是需要考虑CDH5和CDH6的差别，通过分析一些差异看能否将已有的应用迁移或者直接部署到CDH6，兼容性稳定性是否存在问题等。出于这个目的，本文会从各个方面详细比较CDH5和CDH6的差别，从而让用户能够进行正确的判断并进行相应的选择。以下内容主要基于最新的CDH5.16.1和CDH6.1.1进行比较。最后再次强调，没有最好的技术，也没有最新的技术就是最好的，永远只有最合适的技术。
2
组件版本对比
组件 | CDH5.16.1 | CDH6.1.1 |
|---|---|---|
Cloudera Manager | 5.16.1 | 6.1.1 |
CDSW | 1.5 | 1.5 |
Cloudera Navigator | 2.15.1 | 6.1.1 |
Flume-ng | 1.6.0 | 1.8.0 |
Hadoop | 2.6.0 | 3.0.0 |
HBase | 1.2.0 | 2.1.0 |
Hive | 1.1.0 | 2.1.1 |
Hue | 3.9.0 | 3.9.0 |
Impala | 2.12.0 | 3.1.0 |
Oozie | 4.1.0 | 5.0.0 |
Pig | 0.12.0 | 0.17.0 |
Sentry | 1.5.1 | 2.1.0 |
Solr | 4.10.3 | 7.4.0 |
Spark | 1.6.0/2.3.0 | 2.4.0 |
Sqoop | 1.4.6 | 1.4.7 |
Sqoop2 | 1.99.5 | 无 |
Zookeeper | 3.4.5 | 3.4.5 |
Kafka | 1.0.1 | 2.0.0 |
Kudu | 1.7.0 | 1.8.0 |
3
操作系统支持
操作系统 | CDH5.16.1 | CDH6.1.1 |
|---|---|---|
RHEL/CentOS/OL with RHCK kernel | 7.6, 7.5, 7.4, 7.3, 7.2, 7.1, 6.10, 6.9 , 6.8, 6.7, 6.6, 6.5, 6.4, 5.11, 5.10, 5.7 | 7.6, 7.5, 7.4, 7.3, 7.2, 6.10, 6.9 , 6.8 |
Oracle Linux (OL) | 7.5, 7.4, 7.3, 7.2, 7.1 (UEK default), 6.9, 6.8 (UEK R2, R4), 6.7, 6.6, 6.5 (UEK R2, R3), 6.4 (UEK R2), 5.11, 5.10, 5.7 (UEK R2) | 7.4, 7.3, 7.2 (UEK default), 6.10 (UEK default) |
SLES | 12 SP3, 12 SP2, 12 SP1, 11 SP4, 11 SP3 | 12 SP3, 12 SP2 |
Ubuntu | 16.04 LTS (Xenial), 14.04 LTS (Trusty) | 16.04 LTS (Xenial) |
Debian | 8.9, 8.4, 8.2 (Jessie), 7.8, 7.1, 7.0 (Wheezy) | 不支持 |
4
元数据库支持
数据库 | CDH5.16.1 | CDH6.1.1 |
|---|---|---|
MySQL | 5.1, 5.5, 5.6, 5.7 | 5.7 |
MariaDB | 5.5, 10.0 | 5.5, 10.0 |
PostgreSQL | 8.1, 8.3, 8.4, 9.1, 9.2, 9.3, 9.4, 9.5, 9.6, 10 | 8.4, 9.2, 9.4, 9.5, 9.6, 10.x |
Oracle | 11g R2, 12c R1, 12.2 | 12.2 |
5
JDK支持
JDK | CDH5.16.1 | CDH6.1.1 |
|---|---|---|
JDK7 | 1.7u55, 1.7u67, 1.7u75, 1.7u80 | 不支持 |
JDK8 | 1.8u31, 1.8u74, 1.8u91, 1.8u102, 1.8u111, 1.8u121, 1.8u131, 1.8u144, 1.8u162, 1.8u181 | 1.8u31, 1.8u74, 1.8u91, 1.8u102, 1.8u111, 1.8u121, 1.8u131, 1.8u141, 1.8u162, 1.8u181 |
OpenJDK | 1.8u181(CDH5.16之前的版本不支持OpenJDK) | 1.8u181 |
6
单用户模式
我们一般在安装CDH时，都是使用root或具有sudo权限的用户安装的，如果大家有注意会发现用于管理每台主机上的Hadoop进程的Cloudera Manager Agent服务（cloudera-scm-agent）是以root用户身份运行的。但是在有些企业，运维部门有严格的要求，需要CDH使用自己的用户来管理即不能随便使用root，比如要求cloudera-scm-agent服务以其他用户进行启停和管理。从Cloudera Manager 5.3开始Cloudera提供了single user mode，来满足这种要求。在单用户模式下，Cloudera Manager Agent和所有由Cloudera Manager管理的服务进程都可以由配置的用户来启动。单用户模式优先考虑Hadoop与系统其余进程之间的隔离，而不是Hadoop进程之间的隔离。对于Cloudera Manager的部署，单用户模式是全局的，适用于由该Cloudera Manager管理的所有集群。默认情况下，单用户是cloudera-scm。
从CDH6开始，不再支持单用户模式，安装必须使用root或具有sudo权限的用户安装。
参考：
《0520-如何使用非root用户启动CM的Server和Agent服务》
《0547-CM Server和Agent服务停止脚本说明》
《0547-CM Server和Agent服务停止脚本说明》
《0548-5.13.1-如何使用普通用户管理CM server和agent服务》
《0551-6.1-普通用户配置kill CDH集群进程权限》
7
Cloudera Manager
7.1
安装
1.从安装方式上来看，CDH6与CDH5变化不大，这也方便了CDH5的用户可以较为快速的迁移到CDH6，以及适应CDH6的安装与使用。
2.安装向导界面有一些变化，现在可以一目了然的看到一共多少步骤，以及每个步骤是干什么。
3.进到主界面变化也不大，主要是Cloudera的logo变成了黑色，与Cloudera主页的整体风格一致。
4.在配置Cloudera Manager连接到数据库时的脚本有所变化。以前是/usr/share/cmf/schema/scm_prepare_database.sh，现在是/opt/cloudera/cm/schema/scm_prepare_database.sh
5.Cloudera Manager服务的状态在Redhat7通过systemctl status cloudera-scm-server查看是显示正确，而以前是不正确的。
6.Cloudera Manager的rpm安装包由之前的7个变成了5个，去掉了之前的JDK6的包，然后自带JDK1.8.0_141，将不再支持JDK1.7。
7.注意CM的安装除了下载rpm包以外，还要下载allkeys.asc文件，否则安装agent的时候会报以下错误：
8.对于离线安装CDH6.0，分发Parcel出现hash校验失败的问题，是因为在CM6中修复了一个bug，让它不再忽略由http服务器发送的“Content-Encoding”的header信息，但是我们在Redhat中安装的httpd服务，当它传输parcel文件时，默认会错误的设置“Content-Encoding”。于是CM server会错误的认为parcel文件已经被httpd压缩并尝试解压缩。所以会导致失败。解决办法是设置httpd的conf文件，AddType application/x-gzip .gz .tgz .parcel，然后重启httpd服务和CM服务。
9.在安装过程中会有页面提示Auto-TLS，该步骤可以忽略，不过如果对主机通信或者CM页面访问有SSL/TLS需求的话，也可以按照提示进行配置。
参考：
7.2
Cloudera免费版节点数限制
Cloudera免费版现在不允许集群节点数超过100，具体如下描述：
1.单个Cloudera Manager管理的所有CDH6.x集群所包含的主机总数不允许超过100个，如果超过，增加主机会失败。
2.如果Cloudera Manager管理的集群主机数量超过100，Cloudera Manager不允许将集群升级到CDH6.x。如果你主机总数超过100，从Cloudera Manager6.0升级到6.1会失败，这时你需要移除一些主机使总数小于100，然后重新升级才能成功。
注意：如果你从Cloudera企业版降级为Cloudera免费版后，并且你的主机数量超过了100，这时Cloudera Manager会禁用集群管理的所有功能除了停止集群。如果主机总数超过100，你将无法重启集群或以其他方式使用集群，必须使用Cloudera Manager删除主机使主机总数小于100后才能恢复正常。 |
|---|
受影响的版本：Cloudera Manager6.1或更高版本
7.3
Cloudera Manager6.0的新特性
参考：
https://www.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cm_600_new_features.html
7.4
Cloudera Manager6.1的新特性
参考：
《0488-Cloudera Manager6.1的新功能》
8
CDH6的新特性
8.1
CDH6.0的新特性
参考：
https://www.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_600_new_features.html
8.2
CDH6.1的新特性
参考：
9
总结
CDH6相对于CDH5是一次各个组件的大版本升级，要理解大版本更新，这里先解释一下Hadoop相关组件的版本说明。比如版本号是x.y.z，z代表的一般是Maintenance Version或Patch Version，这种版本升级主要修复bug，不改动API，也不涉及新的功能，y代表的是Minor Version，这种版本升级主要是增加新的功能和新的API，x代表的是Major Version，往往会新增全新的功能，甚至改动API。那么CDH5到CDH6就是一次Major Version的升级，新增了很多功能，API的更改有可能导致你旧有的程序的不兼容而需要修改或者重新开发，但根据软件开发迭代的原则，往往新版本会向下兼容一段时间，你只需要经过严格的测试，在一段时间内应用开发的修改理论不会太大，但还是要结合实际情况，进行严格的测试后再行判断和评估。
CDH5现在依旧是市场上用的最多，推得最广的版本，客户认可度也较高。同时，CDH5经过快5年的迭代也是目前最成熟和稳定的版本，各个组件跟随着社区版的更新迭代，已经把各个组件的bug修复得很完善。另外，无论是国外还是国内支持案例也多，国内可以找到很多相关的实施案例供参考，可以节省运维人力、物力成本。最后CDH5的周边生态圈支持也比较丰富，无论是开源还是商业产品，ETL工具，调度工具，报表工具，BI工具等。你如果现在选择CDH5或者已经在用了，Cloudera也官宣了依旧会再支持三年。
CDH6的更新较大，很多组件也都是大版本更新，引入了很多激动人心的新功能，同时各个组件也修复了大量已知的问题和安全漏洞。比如HDFS的纠删码用于冷数据降低存储成本又保证了数据的可用性，NameNode和YARN的联邦解决大规模集群的性能瓶颈问题，YARN引入GPU支持，未来会引入docker支持等。长远来看，从Hadoop2升级到Hadoop3或者从CDH5升级到CDH6是必须的，因为无论是社区还是Cloudera从现在开始开始都会将开发重心转移到Hadoop3或CDH6上，而CDH5则主要以维护和修复bug为主。
建议：
1.如果你是新搭集群，并且规模不太大(50个节点以内)，基于Hadoop的应用也都是新开发，CDH6是一个不错的选择，毕竟避免了以后还要考虑从CDH5升级到CDH6的麻烦，同时还需要进行一次应用测试和迁移。未来迁移到CDH和HDP的合并版本CDP也会更加容易。
2.如果你已经有CDH5集群，作为生产系统各种应用已经稳定运行了较长的时间，如果不是因为功能或性能原因必须要用新版本，现阶段可以暂时不考虑升级，继续观望一段时间。而你一旦决定升级，需要谨慎和细致的对待，包括你要考虑OS，JDK，元数据库等的升级，已有各种应用比如Hive/Impala/Spark SQL，MapReduce/Spark代码，脚本，Python/R算法工程等在CDH6进行测试，同时周边的一些工具对接比如ETL，调度，报表，BI工具等也需要进行对接测试，一切测试通过以后规划好合理的停机时间，然后进行升级。
注：以上总结分析和建议不具备通用性，仅供参考，如果您在选择CDH版本时存在问题，请联系Cloudera销售代表和技术支持结合您的实际情况进行合理的分析和建议。