Hadoop3.3新版本发布【整合了腾讯云】

问题导读 1.Hadoop3.3支持JDK哪个版本？ 2.SCM是什么？ 3.YARN应用程序做了哪些改进？ 4.整合腾讯云实现了什么文件系统？ 1.支持ARM 这是第一个支持ARM的版本。 2.Protobuf从2.5.0升级到新版本 Protobuf从2.5.0升级到3.7.1 3.支持Java11 支持Java11 4.支持模拟AuthenticationFilter过滤器 外部服务或YARN服务可能需要根据使用Web协议的用户行为来调用WebHDFS或YARN REST API。最好在AuthenticationFilter或类似的扩展中支持模拟机制。

不推荐使用httpfs.authentication.*配置， 在HttpFS中使用hadoop.http.authentication.*配置。 如果同时设置了两个配置，则 httpfs.authentication.*配置对兼容有效。 更详细可查看 https://issues.apache.org/jira/browse/HDFS-14845 www.aboutyun.com

5.s3A增强功能 S3A代码的很多增强功能，包括支持委托令牌，对404缓存的更好处理，S3guard性能，弹性改进 6.ABFS增强功能 调整需要调整的内容，并在适当的地方添加更多测试。改善文档，尤其是故障排除。 比如修复支持Server Name Indication (SNI). ABFS FileStatus.getModificationTime返回本地化时间而不是UTC 7.HDFS RBF稳定化 HDFS Router现在支持安全性。还包含许多错误修复和改进。 RBF是基于路由的联邦方案简称 8.在HDFS缓存指令中支持非易失性存储类内存（SCM）。 旨在首先在读取缓存中启用存储类内存。尽管存储类内存具有非易失性特征，但是为了保持与当前只读缓存相同的行为，我们目前不使用其持久性特征。 SCM一种新型内存 9.YARN应用程序的应用程序目录 应用程序目录系统，为YARN应用程序提供编辑和搜索界面。这提高了YARN在管理应用程序生命周期中的可用性。 10.整合腾讯云COS文件系统 腾讯云是中国市场上排名第二的云供应商，对象存储COS已在中国云用户中广泛使用。该任务实现了一个COSN文件系统，以在Hadoop中原生支持腾讯云COS。 11.opportunistic容器的调度 opportunistic容器调度是通过中央RM（YARN-5220），分布式调度（YARN-2877）以及基于实际节点利用率（YARN-1011）和容器提升/降级（YARN-5085）的容器调度来调度 。 更多详细内容可查看官网 http://hadoop.apache.org/docs/r3.3.0/hadoop-project-dist/hadoop-common/release/3.3.0/RELEASENOTES.3.3.0.html

转载注明本文链接

https://www.aboutyun.com/forum.php?mod=viewthread&tid=29227

----------------------------END----------------------------