【快速入门大数据】Hadoop3.x新特性

3.x必须在java8环境为前提

在这里插入图片描述

• Common改进 shell被重写 过时api方法可能被删除 向下兼容老版本命令
• hdfs改进（ec代替副本机制 50%提升空间利用率） 删除编码方式 支持两个以上的namenode（高可用 可用+备用） datanode平衡 单个datanode管理多个磁盘目录。 添加或替换磁盘导致datanode数据倾斜。 现有hdfsbalanse没办法解决倾斜 ，使用新的diskbalance去cli解决 对应临时端口冲突，改进

在这里插入图片描述

• yarn改进 timeline历史版本稳定性 contain队列稳定

在这里插入图片描述

• mapreduce task提升30% 添加新方法、减小mr 的heap大小
• 其他 hadoop jar，避免hadoop的依赖和应用程序的依赖有关系上的泄露 继承微软 阿里存储系统文件系统