专栏首页Hadoop实操0466-CDH5.16.1和CM5.16.1的新功能

0466-CDH5.16.1和CM5.16.1的新功能

Fayson在2018年的6月15日介绍了《CDH5.15和CM5.15的新功能》,今天11月29日,Cloudera正式发布CDH5.16.1。从5.15到5.16,差不多等待了5个月,当然Cloudera在期间还发布了CDH6正式版,随后发布CDH6.0.1,参考《Cloudera Enterprise 6正式发布》。我们注意到这次CDH新版本的发布,没有5.16.0而直接是5.16.1,具体原因未知。

这次有一个很激动人心的更新就是,CDH的OpenJDK支持,参考《Java收费,Hadoop怎么办?》。

以下我们看看CDH5.16和CM5.16具体的更新内容。

1

CDH5.16.1的新功能

1.1

OpenJDK支持

Cloudera Manager和CDH5.16.1现在支持OpenJDK。更多如何从Oracle JDK迁移到OpenJDK,参考:

https://www.cloudera.com/documentation/enterprise/upgrade/topics/ug_jdk8.html

如果你是新搭平台,想直接使用OpenJDK,参考:

https://www.cloudera.com/documentation/enterprise/5/latest/topics/cdh_ig_jdk_installation.html#topic_29

1.2

Apache Hive

Sentry和Hive引入了细粒度权限,为角色提供对象级权限。细粒度权限添加CREATE权限,允许用户创建数据库和表。

这里Fayson解释一下,以前的Sentry,如果你想要让某个用户能够创建数据库和表即CREATE权限,你必须得给他赋ALL权限,这样其实是不太合理的,比如某个用户你只想让他能够创建表,但是因为有了ALL权限,某个Database下的所有表他都有权限,包括他还能drop掉整个Database或者所有table。参考:

https://www.cloudera.com/documentation/enterprise/5/latest/topics/sg_hive_sql.html#privileges

1.2.1

对象所有权(Object Ownership)

Object ownership在Sentry中为database,table和view指定一个owner(所有者)。对象的所有者拥有的OWNER权限与对象的ALL权限等效。参考:

https://www.cloudera.com/documentation/enterprise/5/latest/topics/sentry_object_ownership.html

因为这个新的object ownership功能,在Hive中创建表或数据库的用户会被HMS存储为对象所有者(object owner)。如果启用了object ownership,Sentry会授予用户OWNER权限。无论是否启用object ownership,HMS都会将创建对象的用户存储为对象所有者(object owner)。以前,HMS是将hive用户保存为对象所有者(object owner)。

现在在Hive中新增以下语句以使Sentry支持object ownership:

  • ALTER DATABASE SET OWNER
  • ALTER TABLE SET OWNER
  • SHOW GRANT USER

1.3

Apache Impala

1.3.1

细粒度权限

同Hive一样,Sentry在Impala中同样也引入了细粒度权限,为角色提供对象级权限。

细粒度的权限包括REFRESH和CREATE,它允许用户创建数据库和表,以及执行更新Impala数据库和表的元数据信息的命令。参考:

http://www.cloudera.com/documentation/enterprise/latest/topics/impala_authorization.html#authorization

以下是新增的权限:

  • REFRESH权限
  • CREATE权限
  • SERVER上的SELECT和INSERT权限

在升级到CDH5.16.1之前,如果某个角色对Impala中的对象具有SELECT或INSERT权限,则该角色在CDH升级期后会自动获得REFRESH权限。

1.3.2

对象所有权(Object Ownership)

通Hive一样,Object ownership在Sentry中为database,table和view指定一个owner(所有者)。对象的所有者拥有的OWNER权限与对象的ALL权限等效。参考:

https://www.cloudera.com/documentation/enterprise/5/latest/topics/sentry_object_ownership.html

如果启用了object ownership,Sentry会授予用户OWNER权限。无论是否启用object ownership,HMS都会将创建对象的用户存储为默认的对象所有者(object owner)。之前,HMS将Kerberos用户保存为对象所有者(object owner)。

现在在Impala中新增以下语句以使Sentry支持object ownership:

  • ALTER DATABASE SET OWNER
  • ALTER TABLE SET OWNER
  • ALTER VIEW SET OWNER
  • SHOW GRANT USER

1.3.3

Admission Control增强

新增查询参数MAX_MEM_ESTIMATE_FOR_ADMISSION,使用这个参数,你可以限定单个Impala查询作业的最大内存,从而防止有些查询超过了你预估的内存使用依旧会被执行。参考:

http://www.cloudera.com/documentation/enterprise/latest/topics/impala_max_mem_estimate_for_admission.html#max_mem_estimate_for_admission

1.3.4

通用性能改进

新增查询参数SHUFFLE_DISTINCT_EXPRS,使用这参数可以控制你的SQL语句中同时有grouping和distinct的行为。具体参考:

https://www.cloudera.com/documentation/enterprise/release-notes/topics/impala_shuffle_distinct_exprs.html#shuffle_distinct_exprs

1.3.5

元数据性能改进

1.Incremental Stats(增量统计)

以下增强功能可以提高Impala的稳定性。这些特性可以减少使用增量统计时由于内存不足导致catalogd 和impalad崩溃的几率。

  • catalogd现在会在内存中压缩增量统计信息,从而减少catalogd中的内存占用。
  • 增量统计信息现在会由impalad的coordinator按需从catalogd中获取。此增强功能可以减少impalad的coordinator和statestore的内存占用,同时还可以降低广播元数据的网络开销。

具体参考:

https://www.cloudera.com/documentation/enterprise/release-notes/topics/impala_perf_stats.html#pull_incremental_statistics

2.元数据自动失效

注意:该功能还在试验阶段,不建议直接上生产。

为了控制元数据的大小并降低catalogd缓存OOM的几率,CDH5.16.1的Impala引入了自动元数据失效功能,它会按时间或者内存失效。

元数据的自动失效为Impala服务提供了更好的稳定性,同时降低了OOM的几率,但可能会导致性能风险,所以现阶段该功能默认是关闭的。具体参考:

http://www.cloudera.com/documentation/enterprise/latest/topics/impala_config_options.html#auto_invalidate_metadata

1.3.6

兼容性和可用性增强

1.在默认的TIMESTAMP格式中,日期和时间之间支持其他分隔符,特别是多空格分隔符和“T”分隔符。具体参考:

https://www.cloudera.com/documentation/enterprise/release-notes/topics/impala_timestamp.html#timestamp

2.INSERT语句支持新的hint placement,具体参考:

http://www.cloudera.com/documentation/enterprise/latest/topics/impala_hints.html#hints

3.REGEX_ESCAPE()函数可以转义特殊字符,从而可以让你在字符串中逐字处理它们。

4.SHOW CREATE VIEW与SHOW CREATE TABLE具有相同的功能。

5.现在如果启用了load balancer和Kerberos,Impala Shell也可以直接连接到impalad,而以前只能连接到load balancer。具体参考:

http://www.cloudera.com/documentation/enterprise/latest/topics/impala_shell_options.html

1.4

Apache Sentry

1.4.1

细粒度权限

引入CREATE和REFRESH(仅限Impala)权限,允许用户创建数据库,表和函数,以及执行更新Impala数据库和表上的元数据信息的命令。具体参考:

https://www.cloudera.com/documentation/enterprise/5/latest/topics/sg_hive_sql.html#privileges

1.4.2

对象所有权(Object Ownership)

Object ownership在Sentry中为database,table和view指定一个owner(所有者)。对象的所有者拥有的OWNER权限与对象的ALL权限等效。

在CDH5.16.1中,object ownership默认是关闭的。具体参考:

https://www.cloudera.com/documentation/enterprise/5/latest/topics/sentry_object_ownership.html

1.5

Apache Kudu

从Apache Kudu1.5.0/CDH 5.13.x开始,Kudu服务默认打包到CDH,不需要额外下载Kudu的Parcel包进行安装。

1.5.1

Kudu 1.7.0/CDH 5.16.1的新功能

1.Kudu scan token API新增扫描请求超时。

2.Spark connector中新增两个新的配置参数,从而方便更好的调优,以避免高负载下的扫描超时:socketReadTimeoutMs和scanRequestTimeout

3.新增kudu tablet unsafe_replace_tablet工具从而实现替换tablet。当其中一个tablet永久丢失所有副本时,使用此工具可以恢复table。替换后的tablet中是没有数据的,所以此工具建议在你没有其他选择的情况下再使用。

4.两个新工具允许超级用户从远程Kudu进程中检索所有命令行的flag值:kudu tserver get_flags和kudu master get_flags。get_flag工具支持按标签过滤返回flag。默认情况下,它们仅返回显式设置的flag。

5.新增命令行工具可以在tablet server之间rebalance表的副本,使用kudu cluster rebalance命令可以实现该功能,这个功能在CDH 5.12(Kudu 1.4.0)以后的版本中可以使用。

1.5.2

Kudu 1.7.0/CDH 5.16.1的优化和改进

1.在删除表中大量的连续行时,添加了优化以提高性能。例如,用户可以在重新添加之前使用删除表或分区中的所有行,或者可以删除与主键的某些前缀对应的所有数据。

2.tablet复制的默认时间从3秒增加到30秒,以便在目标服务器上存在大量磁盘I/O时,使tablet的自动复制更加健壮。此外相应的,你可以使用tablet server的flag高级配置--tablet_copy_begin_session_timeout_ms

3.kudu cluster ksck工具增强

  • ksck现在会检查master的运行状况和一致性状态,显示集群中设置的任何不安全或隐藏的flag,同时生成Kudu master和tablet server上运行的Kudu版本摘要。
  • ksck现在支持JSON输出,无论是pretty-printed还是compact格式。
  • 输出格式由-ksck_format标志控制

4.kudu local_replica dump rowset的输出现在更易于阅读。

2

Cloudera Manager 5.16.1的新功能

2.1

Backup and Disaster Recovery (BDR)日志保留

你现在可以在CM中配置Backup and Disaster Log Retention参数来设置保留BDR日志的天数。具体参考:

https://www.cloudera.com/documentation/enterprise/latest/topics/cm_bdr_replication_intro.html#bdr_log_retention

2.2

Impala

1.Impala图表库更新

更新了Impala图表库,删除了很少使用的图表,同时引入了一些更有意义的指标。

2.配置ImpalaD的JVM大小

CM中现在你可以为Impala Daemon配置Java的heap大小,参数名为:Java Heap Size of Impala Daemon in Bytes,默认为4GB。

3.达到最大客户端连接时,Impala会报警

当Impala Daemon达到最大客户端并发数时,新的运行状况检查会报警。参数名为:Impala Daemon Max Client Connections

4.新增Impala空闲查询超时和空闲会话超时配置

配置参数名为:Idle Query TimeoutIdle Session Timeout

5.从Cloudera Manager中删除了Impala Assignment Locality运行状况测试

2.3

Auditor和Dashboard角色用户无法查看Solr collection的统计信息页面

Cloudera Manager的Auditor和Dashboard角色用户现在可以查看Solr Collection StatisticsHBase Table Statistics页面。

2.4

新的Kafka运行状况检查

Cloudera Manager增加了两项新的Kafka Broker运行状况测试:Kafka Broker Swap Memory UsageKafka Broker Unexpected Exits。CM5.14后的Kafka,默认会启用这些运行状况测试。具体参考:

http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ht_kafka_broker.html#concept_asr_f4n_yk

2.5

CM中新增Sentry的Object Ownership配置

Sentry配置页面中添加了一个新的配置参数,该配置用于启用Sentry的OWNER权限,默认情况下是关闭的。具体参考:

https://www.cloudera.com/documentation/enterprise/release-notes/topics/sentry_object_ownership.html#setting_owner_privileges_in_cm

2.6

如果启用了HDFS静态数据加密,禁用了降级到Cloudera免费版的功能

如果使用Navigator KMS Key Trustee server实现了HDFS静态数加密,则不允许降级到Cloudera免费版,如果点击Downgrade License,会有警告提示,提示会指示用户先把数据转换为非加密格式。因为Navigator是CDH企业版的工具。

2.7

Zookeeper配置修改

ZooKeeper中的Enable Kerberos AuthenticationEnable Server to Server SASL Authentication两个配置现在绑在了一起,即任一参数更改为打开或关闭,则另一个参数将自动更改为相同的值,关于这个CM也新增了警告。

本文翻译参考:

http://community.cloudera.com/t5/Community-News-Release/ANNOUNCE-Cloudera-Enterprise-5-16-is-Now-Available/m-p/83029#M258
https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_rn_new_in_cdh_516.html
https://www.cloudera.com/documentation/enterprise/release-notes/topics/cm_rn_new_changed_features.html#cm_new_5160

本文分享自微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 变天 | 白用23年的Java不再免费,谷歌收安卓授权费

    先是在9月份,Java 开发工具包(JDK)11 正式发布,这件事情对只会更新APP的普通大众来说,发布新版本不是一件好事嘛,怎么能算是坏消息呢?就像我的iPh...

    java进阶架构师
  • 2018-11-20 老码农教你在 StackOverflow 上谈笑风生

    作为一个高大上的码农,你肯定用到过 StackOverflow,必须的。会有人否定这个断言么?那他恐怕不是真正的码农,或者说还没入门。StackOverflow...

    Albert陈凯
  • C 语言:我不是针对谁,我是说在座的都是乐色

    从上世纪七十年代开始,许多编程语言都曾受到程序员的青睐。尽管这些语言很好、很有用,但从高级语言开始学习的人在编程知识方面都有许多遗漏。

    老九君
  • 单例模式 创建型 设计模式(六)

    可以借助于全局变量,但是类就在那里,你不能防止实例化多个对象,可能一不小心谁就创建了一个对象

    noteless
  • 北京美团程序员3万工资高不高?

    讲一个真实的故事,认识一个在美团工作的程序员,是个女生是从百度直接跳槽过去的,在里面担任技术主管,在北京房价还不是最疯狂的时候买了一套差不多300多万的房子,在...

    程序员互动联盟
  • 干货|Python 获取网易云音乐热门评论

    最近在研究文本挖掘相关的内容,所谓巧妇难为无米之炊,要想进行文本分析,首先得到有文本吧。获取文本的方式有很多,比如从网上下载现成的文本文档,或者通过第三方提供的...

    fishexpert
  • SpringBoot核心技术:你了解Actuator开放指定监控节点吗?

    之前章节SpringBoot核心技术:探究Actuator的默认开放节点 & 详细健康状态讲解了spring-boot-actuator默认开放的节点以及如何修...

    恒宇少年
  • 【1024程序员节】致敬所有程序员

    2002年,俄罗斯程序员Valentin Balt收集签名,向俄罗斯联邦政府请愿将9月13日设定为程序员节。2009年9月11日,俄罗斯总统梅德韦杰夫在节日安排...

    java思维导图
  • SNMP学习笔记之SNMP4J介绍(Java)

      SNMP4J是一个用Java来实现SNMP(简单网络管理协议)协议的开源项目.它支持以命令行的形式进行管理与响应。SNMP4J是纯面向对象设计与SNMP++...

    Jetpropelledsnake21
  • 终极解决方案:org.apache.jasper.JasperException: java.lang.IllegalStateException: getOutputStream() has alr

    org.apache.jasper.JasperException: java.lang.IllegalStateException: getOutputStr...

    庞小明

扫码关注云+社区

领取腾讯云代金券