实用 | Apache Hadoop 3.0.0-alpha2版本发布

作者:Andrew Wang,Ray Chiang

Andrew Wang是Cloudera公司HDFS团队的一名软件工程师、Apache Hadoop PMC成员和提交者,同时也是Hadoop 3的发布经理。

Ray Chiang是Cloudera公司RM团队的一名软件工程师,同时也是Apache Hadoop提交者。

链接:http://blog.cloudera.com/blog/2017/02/apache-hadoop-3-0-0-alpha2-released/

◆◆◆

Apache Hadoop项目在2017年1月25日宣布发布3.0.0-alpha2版本。这是3.0.0版本系列中为3.0.0 GA而准备的第二个alpha版本;同时,从去年9月发布的3.0.0-alpha1版本开始纳入了857个新的补丁、改进和功能。您可以阅读我们以前发布的关于3.0.0-alpha1版本博客文章;在本篇博文中,我们将讨论alpha2版本中新的改进。

1

Hadoop Client Jars的类路径隔离

许多Java开发人员都经历了类路径隔离的痛苦。类路径隔离本质上是一个版本依赖冲突的问题;Hadoop客户端可能需要在应用程序的类路径上存在特定版本的Java库,但应用程序已经使用了该特定版本Java库的不兼容版本。这可能导致在运行时产生ClassNotFoundException或NoSuchMethodError异常,或者其它未知的、未经测试的错误。

这个问题通过由HADOOP-11804引入的阴影客户端(shaded client)工件予以部分解决。Shading创建了一个包括所有依赖项、类似于静态链接的JAR。因此,Hadoop阴影客户端不需要在应用程序的类路径中添加附加依赖项,使得应用程序可以自由使用所选择的任何依赖项和版本。

2

支持Microsoft Azure Data Lake和Aliyun对象存储系统

针对Microsoft Azure Data Lake和Aliyun对象存储系统,Apache Hadoop增加了文件系统连接器,允许用户通过正常的Hadoop文件系统API与这些存储系统进行交互。

3

支持机会性容器和分布式调度

除当前保证性容器外,YARN还引入了机会性容器的概念。机会性容器在NodeManager中排队等待资源时变得可用,并且只要资源可用就可以见机行事地运行。如果需要,机会性容器会被抢占,从而为保证性容器腾出空间。在完成保证容器和分配新容器之间运行机会性容器应该提高集群利用率。

在目前的形式中,应用程序需要显式地请求机会性容器。这些机会性容器最适用于短时间运行的任务。机会性容器默认由中央RM分配,也支持外部(潜在分布式)调度程序对机会性容器进行排队。

欲了解更多详细信息,请参阅相关文档。

4

结论

Apache Hadoop 3.0.0版本系列根据社区反馈意见不断丰富和完善,这在最近的3.0.0-alpha2版本中已有所体现。当前上游发布计划是在转到beta1版本前(其次是GA),再次发布一个新的alpha版本,从而最终敲定HDFS纠删编码及一些其他功能。这使得下一个开发阶段成为冻结测试版兼容性之前集成其他用户反馈的关键时段。

所以,下载该新版本,尝试体验阴影客户端或纠删编码等新功能,并提交包含任何缺陷或改进的JIRA。如果您有兴趣参与更多的Hadoop 3版本发布验证,请发送电子邮件至开发人员列表,或者随时直接与Cloudera联系。

来源:Cloudera中国

原文发布于微信公众号 - PPV课数据科学社区(ppvke123)

原文发表时间:2017-03-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏架构师小秘圈

Hive极简教程

一、HIVE架构 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和...

64560
来自专栏睿哥杂货铺

Linux 性能诊断:快速检查单(Netflix版)

快速检查单(Quick Reference Handbook,QRH)是飞行员在飞行过程中依赖的重要指导性文件。

47070
来自专栏Hans362 's Lab

Apache Spark:承诺与挑战

如果您正在寻找处理大量数据的解决方案,那么现在有很多选择。根据您的使用情况以及您希望对数据执行的操作类型,您可以选择各种各样的数据处理框架,如Apache Sa...

17800
来自专栏嵌入式程序猿

C8051F060单片机在数字电源控制器中的应用

引言 随着科技的发展,数字控制系统的应用越来越广泛。以前的模拟电源控制系统线路复杂,控制精度低,故障率高。因此开发全数字电源控制系统越来越重要。微控制器,微处理...

33060
来自专栏别先生

一脸懵逼学习Hadoop-HA机制(以及HA机制的配置文件,测试)

1:能否让两个NameNode都正常影响客户端请求?   应该让两个NameNode节点在某个时间只能有一个节点正常影响客户端请求,相应请求的必须为Active...

25360
来自专栏程序人生

软件性能调优:看数据,还是谈概念?

上周写了「想让服务器跑得快,并不是换个编程语言那么简单」,很多朋友的留言歪了楼:论性能,C语言甩Python数倍到数十倍,你说和编程语言没关?拜托,程序君只是说...

30140
来自专栏Albert陈凯

Spark运行机制与原理详解目录Spark Internals

https://github.com/JerryLead/SparkInternals Spark Internals Spark Version: 1.0.2...

74060
来自专栏开源优测

大数据测试学习笔记之监控工具Dr.Elephant

大数据测试学习笔记之监控工具Dr.Elephant 随着大数据测试方面的学习扩展得越来越多,开始找了些关于大数据技术方面的监控工具,本文主要介绍linkedin...

43350
来自专栏魏琼东

AgileEAS.NET SOA中间件平台更新日志 2015-04-28

     AgileEAS.NET SOA 中间件平台是一款基于基于敏捷并行开发思想和Microsoft .Net构件(组件)开发技术而构建的一个快速开发应用平...

11800
来自专栏FreeBuf

macOS 0-day漏洞详情披露,可被利用完全接管系统

2017 年 12 月 31 日,一名推特账号为 Siguza 的安全研究人员公布了 macOS 0-day 漏洞的详情。该漏洞是一个本地提权漏洞,影响到所有 ...

21270

扫码关注云+社区

领取腾讯云代金券