0589-Cloudera Manager6.2的新功能

1

虚拟私有集群 - 存储和计算分离

虚拟私有集群(Virtual Private Cluster)使用Cloudera共享数据体验（Shared Data Experience，SDX）来简化on-premise和on-cloud的应用程序的部署，并使运行在不同集群中的工作负载能够安全，灵活地共享数据。

CDH6.2中提供了一种新类型的集群，称为计算集群(Compute cluster)。计算集群运行Impala，Spark或YARN等计算服务，但您可以配置这些服务以访问托管在另一个常规CDH集群(Regular CDH cluster)中的数据，称为Base cluster。使用此架构，您可以通过各种方式分离计算和存储资源，从而灵活地最大化资源。

2

Ubuntu 18支持

已为Cloudera Manager和CDH6.2及更高版本添加了对Ubuntu 18.04的支持。

Cloudera Issue: OPSAPS-48410

3

Backup and Disaster Recovery (BDR)

3.1

直接将Hive数据复制到以S3/ADLS为存储的集群

BDR现在支持Hive从on-premise到S3/ADLS集群的直接复制以及到Hive Metastore的元数据复制。

使用一个单独的复制进程，BDR可以将Hive数据从HDFS拉取到S3/ADLS集群，并使用“Hive-on-cloud”模式，其中目标Hive Metastore会将table的location更新到指向S3/ADLS。此过程有助于轻松实现on-cloud和on-premise集群之间的数据迁移和同步。

3.2

复制到ADLS Gen2或从ADLS Gen2复制

您现在可以将HDFS数据或Hive数据复制到ADLS Gen2或从ADLS Gen2复制。要使用ADLS Gen2作为源或目标，必须将Azure凭据添加到Cloudera Manager。请注意，ADLS Gen2的URI格式与ADLS Gen1不同。对于ADLS Gen2，使用以下URI格式：

abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>/

4

主机

重复主机检测和主机名迁移：

Cloudera Manager现在可以检测并拒绝重复加入集群的主机，并且可以优雅的容忍托管主机的主机名更改，从而更好地支持自动部署。

5

安装

Accumulo Initialization

现在，“安装向导”中将显示初始化Accumulo复选框。

Cloudera Issue: OPSAPS-48619

Hive Metastore数据库连接的JDBC URL

当在配置Hive连接到后端的数据库比如MySQL，PostgreSQL或OracleDB时，您现在可以指定JDBC URL。在Cloudera Manager的“创建群集”和“创建服务”向导中的“设置数据库”页面上输入JDBC URL。

Cloudera Issue: OPSAPS-48668

6

许可

Cloudera Enterprise许可证的启动和停用日期

Cloudera Enterprise许可证现在包括开始日期和停用日期。企业版功能会在开始日期启用，并在停用日期后禁用。如果在开始日期之前安装许可证，则会在Cloudera Manager管理控制台中显示一个banner条，显示许可证生效之前的天数。

Cloudera Issue: OPSAPS-47500

增强的许可证强制执行 - 节点限制

当Enterprise许可证到期时，Cloudera Manager将恢复为Express版本。这包括由CM管理的所有CDH6集群的节点数总和最大为100。

Cloudera Issue: OPSAPS-48611

增强的许可证强制执行 - 功能可用性

停用日期(deactivation date)过后，Cloudera企业版功能将会关闭。对于没有停用日期的旧版许可证，功能将在到期日期(expiration date)关闭。

Cloudera Issue: OPSAPS-46864

增强的许可证强制执行 – KMS配置

尽管KMS将保持正常运行，但Cloudera Manager将不允许在新许可证文件中指定的停用日期之后更改KMS配置。对于旧版许可证，停用日期默认为许可证中指定的到期日期。

Cloudera Issue: OPSAPS-48501

7

Cloudera Manager API

跨集群网络带宽测试

Cloudera Manager现在有一个API来测试集群之间的网络带宽，有助于确定基础架构是否适合存储和计算的分离。

用于管理Cloudera Manager会话过期的API

有一个新的Cloudera Manager API endpoint，/users/expireSessions/{UserName}，可由具有Full administrator或User administrator角色的用户调用，该角色有权使特定用户的所有活动的Cloudera Manager会话（本地或外部）到期。

Cloudera Issue: OPSAPS-43756

ApiServiceRef中的服务类型信息

Cloudera Manager API endpoint ApiServiceRef现在返回服务类型。

Cloudera Issue: OPSAPS-48369

用于发布所有可用功能的API

API endpoint /cm/license中添加了新的属性features。它列出了产品中针对给定许可证可用的所有功能。例如：

{ ""owner"" : ""John Smith"", ""uuid"" : ""12c8052f-d78f-4a8e-bba4-a55a2d141fcc"", ""features"" : [ { ""name"" : ""PEERS"", ""description"" : ""Peers"" }, { ""name"" : ""BDR"", ""description"" : ""BDR"" }, { ""name"" : ""KERBEROS"", ""description"" : ""Kerberos"" }, . . .

Cloudera Issue: OPSAPS-49060

ApiAuthRole的新名称属性

现在可以指定ApiAuthRole实体，并使用API文档中指定的角色名称字符串进行查找。

Cloudera Issue: OPSAPS-46780

8

Kafka配置和监控

新的Kafka指标

新增了如下指标：

• kafka_topic_unclean_leader_election_enable_rate_and_time_ms
• kafka_incremental_fetch_session_evictions_rate -
• kafka_num_incremental_fetch_partitions_cached -
• kafka_num_incremental_fetch_sessions
• kafka_groups_completing_rebalance
• kafka_groups_dead
• kafka_groups_empty
• kafka_groups_preparing_rebalance
• kafka_groups_stable
• kafka_zookeeper_request_latency
• kafka_zookeeper_auth_failures
• kafka_zookeeper_disconnects
• kafka_zookeeper_expires
• kafka_zookeeper_read_only_connects
• kafka_zookeeper_sasl_authentications
• kafak_zookeeper_sync_connects

不推荐使用以下指标：kafka_responses_being_sent

Cloudera Issue: OPSAPS-48911, OPSAPS-48798, OPSAPS-48311, OPSAPS-48656

Kafka Broker ID显示

Cloudera Manager的Kafka Instances页面现在会显示Kafka Broker ID。

Cloudera Issue: OPSAPS-44331

诊断包中的Kafka Topics

Kafka的诊断包现在将包含以下命令的输出：

• kafka-topics --describe
• kafka-topics –list

Cloudera Issue: OPSAPS-36755

委托令牌(Delegation Tokens)的Kafka配置属性

新增配置Kafka委派令牌所需的以下参数：

• delegation.token.max.lifetime.ms

令牌具有最大生命周期，超过该生命周期就不能再续订令牌。 默认值7天。

• Delegation.token.expiry.time.ms

需要续订令牌之前的令牌有效时间（以秒为单位）。 默认值1天。

Cloudera Issue: OPSAPS-47051

使用ACL增强Zookeeper中Kafka的安全性

现在可以使用一个新脚本zookeeper-security-migration.sh来锁定Zookeeper中的Kafka数据。

Cloudera Issue: OPSAPS-47988

9

Hive Server 2

编译指标的新图表

新增一个图表Operations Awaiting Compilation，代表HiveServer2的编译指标。

Cloudera Issue: OPSAPS-47506

HS2 ADLS向导中更安全的选项

该选项主要是为了在Hive中实现更安全的ALDS密钥处理。Cloudera Manager将对象存储机密作为加密的Java密钥库发出。

Cloudera Issue: OPSAPS-49076

在CM中为S3上的HS2启用更安全的CDP（Credential Provider Policy）

该选项主要是为了在Hive中实现更安全的S3密钥处理。Cloudera Manager将对象存储机密作为加密的Java密钥库发出。

• [s3]将HDFS凭证存储文件和解密密码的路径分发给HS2。为HS2添加作业信用库路径和解密密码传播。

Cloudera Issue: OPSAPS-48662

• [s3]在HDFS中为HS2管理加密的凭证存储。为HS2添加作业特定的信任库。

Cloudera Issue: OPSAPS-48661

• [s3]在每次重启HS2时，在HDFS中更换密码和加密的凭证文件。在每个HS2角色重新启动时添加密码和credstore文件更换。

Cloudera Issue: OPSAPS-48663

10

delegation.token.master.key生成

Cloudera Manager现在会自动生成delegation.token.master.key

Cloudera Issue: OPSAPS-48525

11

Hue高级配置代码段的新警告

如果Hue Service Advanced Configuration Snippet或Hue Server Advanced Configuration Snippet的值格式不正确，将发出警告。 例如，如果它不包含[desktop]之类的配置。

Cloudera Issue: OPSAPS-27606

12

dfs.client.block.write.locateFollowingBlock.retries配置的默认值增加

HDFS配置dfs.client.block.write.locateFollowingBlock.retries默认值从5增加到7。

Cloudera Issue: OPSAPS-48170

13

YARN的GPU调度和隔离支持

支持在YARN应用程序和自定义YARN资源类型中使用GPU。

Cloudera Issue: OPSAPS-48685

14

纠删码策略的健康测试

引入新的健康检查Verify Erasure Coding Policies For Cluster Topology。如果没有足够的数据节点或机架支持所有已启用的纠删码策略，则运行状况测试将失败并显示黄色状态。

Cloudera Issue: OPSAPS-48526

15

Spark服务的磁盘缓存配置

现在可以从Cloudera Manager启用Spark History Server的磁盘缓存。

Cloudera Issue: OPSAPS-48385

16

Sqoop客户端的Decimal支持

对于新的CDH6.2（或更高版本）集群，默认情况下将启用Parquet和Avro导入的Sqoop decimal支持。对于新升级的集群，必须手动启用decimal支持。

• 设置以下属性以在Avro中支持decimal

sqoop.avro.logical_types.decimal.enable=true

• 设置以下属性以在Parquet中支持decimal

sqoop.parquet.logical_types.decimal.enable=true

parquetjob.configurator.implementation=hadoop

请注意，更改任何这些属性可能会破坏现有的Sqoop作业，因为影响其输出而导致下游的处理无法正常进行。

Cloudera Issue: OPSAPS-48938

17

TLS

将Auto-TLS配置应用于现有服务

您现在可以使用Auto-TLS将TLS添加到现有群集。Cloudera Manager Admin Console和API均提供此功能。

有一个新的Cloudera Manager API命令ConfigureAutoTlsServices，它可以为单个集群中的服务启用Auto-TLS。

Cloudera Issue: OPSAPS-47349

在Custom Service Descriptors (CSD)中支持TLS proto/ciphers

添加了在CSD中指定TLS协议和TLS cipher suites的功能。

Cloudera Issue: OPSAPS-48214

在Hive Metastore配置页面可以为Hive Metastore Database 使用TLS加密

从Hive Metastore Server到Hive Metastore Database可以配置TLS。最低配置要求启用Enable TLS/SSL to the Hive Metastore Database复选框，默认是禁用的。如果提供了Hive Metastore TLS/SSL Client Truststore属性，则这些属性会被使用。否则，将使用已知证书颁发机构的默认列表。此外，当连接到数据库时，也提供了可以覆盖JDBC URL配置的功能。它会覆盖所有用于创建JDBC URL的其他值。这是一种高级配置选项，只能用作safety-valve。

Cloudera Issue: OPSAPS-48666

全局启用Auto-TLS

现在有一个Cloudera Manager API命令GenerateCmcaCommand，它将为现有的Cloudera Manager部署启用Auto-TLS。此命令为所有现有主机创建内部Cloudera Manager Certificate Authority（CMCA）和证书。

Cloudera Issue: OPSAPS-43102

Kafka/Flume Auto-TLS增强

和Kafka一起使用时Flume现在支持Auto-TLS

Cloudera Issue: OPSAPS-46339

许可证增强 - Auto TLS

当使用试用license时，现在不支持支持Auto-TLS。要启用Auto-TLS，你必须拥有企业版license。

Cloudera Issue: OPSAPS-48981

Cloudera Manager Certificate Authority (CMCA)的自定义证书

将Auto-TLS与自定义证书一起使用时，可以使用新的AddCustomCerts命令将与主机名关联的证书添加到Auto-TLS证书数据库。

Cloudera Issue: OPSAPS-48678