前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >0717-6.3.0-Cloudera Manager 6.3的新功能

0717-6.3.0-Cloudera Manager 6.3的新功能

作者头像
Fayson
发布2019-10-25 17:26:05
1.1K0
发布2019-10-25 17:26:05
举报
文章被收录于专栏:Hadoop实操

CM/CDH6.3及更高版本支持OpenJDK11

你现在可以在Cloudera Enterprise 6.3中使用OpenJDK 11,在集群中安装OpenJDK 11时,默认使用G1GC为CDH大多数服务作为垃圾回收机制,这可能需要进行调优以避免内存过量使用。

OPSAPS-50993, OPSAPS-49390, OPSAPS-51643

CM支持FreeIPA和RedHat Identity Manager

Cloudera Manager现在支持FreeIPA和RedHat Identity Manager作为Kerberos KDC类型。

SPNEGO/Kerberos支持CM和API

Cloudera Manager管理控制台和API现在支持Kerberos身份认证(使用SPNEGO)。仅支持客户端使用SPNEGO(例如curl)。Cloudera Manager的Swagger和Python SDK不支持SPNEGO。

启用SPNEGO后,基于Swagger的Java和Python SDK以及较旧的Java SDK仍然可以使用HTTP Basic Authentication进行身份认证。旧版本的Python SDK已弃用。如果你需要依赖已经弃用的Python客户端进行一些操作,请不要启用SPNEGO。

如果你想为Cloudera Manager控制台和API启用SPNEGO/Kerberos认证,可以在Settings > Administration > External Authentication > "Enable SPNEGO/Kerberos Authentication for the Admin Console and API" 中勾选checkbox。需要重启Cloudera Manager才会生效。同时需要为集群启用Kerberos。

Cloudera Issue: OPSAPS-49753, OPSAPS-24297

Cloudera Manager Server证书到期监控和告警

现在,Cloudera Manager会在Cloudera Manager服务器TLS证书到期之前60天提醒你。你可以通过在Cloudera Management Service配置页面中搜索Expiry来查看和修改阈值。

代码语言:javascript
复制
注意:TLS证书到期告警仅适用于Cloudera Manager Server证书。它不会在其他服务使用的证书即将到期前发出警告。

Cloudera Issue: OPSAPS-35977

Root CA支持Auto-TLS

对于新搭集群,auto-TLS可以为现有内部root CA创建并使用中间CA。这将建立对现有内部root CA的信任链,并允许信任root CA的内部主机在访问集群的web资源时不会出现浏览器安全警告。

已经部署好的集群不支持该功能。

Cloudera Issue: OPSAPS-50063

Service和Host Monitor的GC配置

Cloudera Manager的Host monitor和Service Monitor默认使用G1GC作为垃圾回收。你可以在Java Configuration Options for Host MonitorJava Configuration Options for Service Monitor配置属性中修改Java选项,进入Clusters > Cloudera Management Service然后搜索“java”。

Cloudera Issue: OPSAPS-50123

JournalNode Syncer的新配置参数

CDH6.3及以后版本增加了Enable JournalNode Syncer。启用后,JournalNode 会定期将edits log与其它JournalNode进行同步。

当HDFS启用高可用后,HDFS增加Shared Edits Directory,这使JournalNode Syncer可以启动并正常工作。

Cloudera Issue: OPSAPS-51249

新的Kafka配置参数和指标

如果使用CDK 4 Kafka版本,Cloudera Manager新增以下Kafka配置与默认值:

  • num.network.threads=8
  • num.recovery.threads.per.data.dir=1
  • num.replica.fetchers=4 (default changed from 1)

新指标:

  • broker
  • broker level topic
  • controller
  • fetch session cache
  • log cleaner
  • network
  • replica manager
  • session expire listener
  • zookeeper client

Cloudera Issue: OPSAPS-49741

通过CM模板简化了启用Kerberos

在Cloudera Manager模板的instantiator部分中添加了一个名为enableKerberos的新部分,比如:

代码语言:javascript
复制
"instantiator": { 
    "clusterName": "test", 

     "enableKerberos": { 
         "datanodeTransceiverPort" : <optional/default 1004>, 
         "datanodeWebPort" : <optional/default 1006> 
      }, 
      . 
      .  

这个模板可以为所有服务启用Kerberos。

Cloudera Issue: OPSAPS-49704

Cluster Administrator角色现在可以创建和删除Data Context

在Virtual Private Cloud环境中仅仅能访问base集群的Cluster Administrator角色的用户,现在可以创建和删除Data Contexts。

Cloudera Issue: OPSAPS-49478

YARN配置参数

新增YARN配置参数:Enable Container Launch Debug Information,默认是禁用的。以前这个配置需要在NodeManager Advanced Configuration Snippet for yarn-site.xml中添加。

Cloudera Issue: OPSAPS-50709

Kudu集成Sentry

Cloudera Manager现在可以配置Kudu集成Sentry。

Cloudera Issue: OPSAPS-50359

Network Performance Inspector现在包含网络带宽测试

你现在可以使用Network Performance Inspector进行集群之间的网络带宽测试。

Cloudera Issue: OPSAPS-49682

计算集群支持Kafka

现在,你可以将Kafka服务添加到计算集群中。Kafka将在多个Kafka实例之间共享Sentry服务。

Cloudera Issue: OPSAPS-49165

改进BDR的Log Retention

现在,当你使用自定义日志位置进行BDR复制时,自动日志过期将根据设置清除这些自定义复制日志和元数据文件。为了维护每个复制调度任务的信息,设置现有用户可写的HDFS有效路径非常重要。

OPSAPS-50880

BDR诊断包包含过滤后的NameNode和Hive Metastore角色日志

BDR诊断包现在包含源集群和目标集群经过过滤的NameNode和Hive Metastore角色日志。可以根据以下条件过滤日志:

  • 诊断包中运行的所有复制任务的最早开始时间戳和最新结束时间戳。
  • HDFS和Hive复制作业的源和目标集群上已配置的日志级别(默认为INFO)。

以下角色日志会包含:

  • HDFS NameNode(HDFS和Hive复制作业)
  • Hive Metastore(Hive replication)

源集群和目标集群的角色日志最大上限均为201 MB(这是正常的CDH角色日志大小)。

你可以使用以下高级配置代码段配置这些日志集合:

  • HDFS Replication Advanced Configuration Snippet (Safety Valve) for hdfs-site.xml
  • Hive Replication Advanced Configuration Snippet (Safety Valve) for hive-site.xml

在适用于Hive或HDFS的Advance Configuration Snippet输入以下配置参数(默认值在方括号中):

代码语言:javascript
复制
SKIP_HIVE_LOG_COLLECTION [false]
SKIP_HDFS_LOG_COLLECITON [false]
LOG_LEVEL [INFO]
LOG_SEARCH_TIMEOUT_MILLIS [300000]
LOG_ROLE_RESULT_LIMIT [10000]
LOG_TOTAL_BYTES_LIMIT [210763776]

Cloudera Issue: OPSAPS-49988

禁用指标汇总的选项

现在你可以随着时间的推移禁用指标汇总。这可以提高Service Monitor的性能。

Cloudera Issue: OPSAPS-50149

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-10-23,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Hadoop实操 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档