0834-CDP Private Cloud Base 7.1.6正式GA

2021年3月23日

1.升级增强

1.HDP3升级

• 支持从HDP 3.1.5直接原地升级到CDP Private Cloud Base；
• 发布新的AM2CM1.2.0工具，支持从Ambari迁移到Cloudera Manager，以支持HDP3的原地升级；

2.回滚操作文档

• 支持从CDH5升级到CDP7.1.6的回滚操作；
• 支持从HDP2升级到CDP7.1.6的回滚操作；

3.Accumulo支持

• CDP Private Cloud Base现在支持基于Apache Accumulo 2.0的Operational Database (OpDB)
• Accumulo 2.0是第一个支持语义版本管理和一致性的版本，批量导入API可以缩短数据上传时间，简化的脚本可以简化管理，改善的用户体验，例如table summaries和dedicated scan支持；
• 这样可以让在CDH5，HDP2和HDP3中使用Accumulo客户升级到CDP Private Cloud Base；

4.CDH5升级增强

• 改进用于scheduler迁移的YARN FS2CS工具，通过提供改进的放置规则，新的放置规则评估引擎，用于容量分配的新权重模式为Capacity Scheduler创建了灵活的自动队列，使客户从CDH5.13-5.16更方便的升级/迁移到CDP PVC Base；

5.YARN升级增强

• YARN和YARN Queue Manager现在支持动态和自动子队列创建；
• YARN Queue Manager现在支持分区和节点标签，你可以给集群分区从而划分为子集群，并使用标签对节点进行分类，这样作业可以被部署到特定的节点上执行。另外Queue Manager UI现在可以用于管理YARN分区；
• 增强YARN队列的放置规则，为了解决以前的限制，引入了一个新的放置规则评估引擎，该引擎支持新的基于JSON的放置规则格式；
• 通过增强的Queue Manager UI可以轻松的创建放置规则；
• 引入Weight Mode用于YARN资源分配，方便公平调度的配置迁移；

2.平台支持增强

1.新操作系统版本

• CDP Private Cloud Base现在支持针对Intel x86和IBM PPC硬件的RHEL/CENTOS 7.9；

2.新DB版本

• CDP Private Cloud Base现在支持MySQL8和Postgres12；

3.常规功能增强

1.Cloudera Manager增强功能（版本7.3.1）

• 现在可以将Ranger审计配置为使用本地文件系统而不是HDFS进行存储，从而使更多的组件服务包括Kafka和Nifi能够在符合安全和治理的情况下运行，而不会增加HDFS的资源/管理开销；
• 支持对流式组件自定义Kerberos principal：SRM，SMM，Cruise Control，Kafka Connect和Schema Registry。从而使更多的组件服务支持灵活的外部管理的Kerberos身份；
• (De)commission步骤可以定义为CSD服务的一部分，从而在使用诸如Kafka，Ozone和任何第三方软件之类的服务时，实现更无缝的集群扩容/缩容和维护工作流；
• 服务和角色指标收集支持收集枚举的文本值；

2.事务支持

• 现在可以使用ANSI SQL语义支持跨行和表的复杂分布式事务，方便MySQL/PostgreSQL用户做迁移。

3.Data Warehouse增强

• 在Impala中实现并重新启用与ROLE相关的语句，从而允许管理员向ROLES授予权限，然后将ROLES分配给GROUPS；
• Hive Warehouse Connector Simplification提供了一种通用配置来指定操作模式（Spark Direct Reader或JDBC），通过spark.sql(“<query>”)。为了向后兼容，仍支持早期版本中使用的配置，但最终会被废弃；
• 添加了对Impyla客户端的支持，该客户端使开发人员可以在Python程序中将SQL查询提交到Impala；
• Kudu支持INSERT_IGNORE，UPDATE_IGNORE和DELETE_IGNORE操作，从而简化了客户端应用程序并提高性能；
• Kudu集群更快的重启和重平衡；

4.对象存储增强

• 增强Ozone以支持Kafka Connect，Atlas和Nifi Sink。客户现在可以通过Kafka Connector/Nifi Sinks直接写数据到Ozone，Atlas集成为Ozone中的数据提供溯源和治理能力。
• 回收站功能支持恢复可能被意外删除的数据；
• Ozone Multiraft协议将写入数据管道的性能提升了30%；

5.授权/审计提升

• Ranger Audit Filter (Tech Preview) - 使用Ranger repo配置中的JSON定义的过滤器，管理员可以限制访问时捕获哪些审计事件。这对于只保留一些关键审计信息很有帮助，比如创建一个audit filter以将系统服务的操作排除，比如来自Hive的METADATA_OPERATION，以减少审计数据的数据量并使审计事件易于管理；
• Ranger Audit Access提升 - 使列可调整大小，并允许用户选择他们想要查看的列；
• Hive性能改善 - HDFS ACL sync；

Cloudera Manager发行说明：

https://docs.cloudera.com/cdp-private-cloud-base/7.1.6/manager-release-notes/topics/cm-release-notes-731.html

Cloudera Runtime发行说明：

https://docs.cloudera.com/cdp-private-cloud-base/7.1.6/runtime-release-notes/topics/rt-pvc-runtime-overview.html

CDP PvC Base概述：

https://docs.cloudera.com/cdp-private-cloud/latest/overview/index.html

下载CM7.3.1：

https://archive.cloudera.com/p/cm7/7.3.1

下载CDP7.1.6 Runtime：

https://archive.cloudera.com/p/cdh7/7.1.6.0