首页
学习
活动
专区
工具
TVP
发布

用户3288143的专栏

专栏作者
396
文章
423138
阅读量
33
订阅数
【快速入门大数据】hadoop和它的hdfs、yarn、mapreduce
技术架构挑战 量大,无法用结构化数据库,关系型数据库 经典数据库没有考虑数据多类别 比如json 实时性的技术挑战 网络架构、数据中心、运维挑战
瑞新
2021-12-06
7030
【快速入门大数据】Hadoop集成Spring的使用
官网sprng-hadoop https://spring.io/projects/spring-hadoop 添加依赖 <dependencies> <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-hadoop</artifactId> <version>2.5.0.RELEASE</version> </dependency>
瑞新
2021-12-06
7160
【快速入门大数据】Hadoop3.x新特性
3.x必须在java8环境为前提 📷 Common改进 shell被重写 过时api方法可能被删除 向下兼容老版本命令 hdfs改进(ec代替副本机制 50%提升空间利用率) 删除编码方式 支持两个以上的namenode(高可用 可用+备用) datanode平衡 单个datanode管理多个磁盘目录。 添加或替换磁盘导致datanode数据倾斜。 现有hdfsbalanse没办法解决倾斜 ,使用新的diskbalance去cli解决 对应临时端口冲突,改进 📷 yarn改进 tim
瑞新
2021-12-06
1330
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档