首页
学习
活动
专区
工具
TVP
发布

爱编码

专栏作者
143
文章
197325
阅读量
34
订阅数
《MapReduce使用》---大数据系列
一、MapReduce是什么? MapReduce是一个基于集群的高性能并行计算平台(Cluster Infrastructure)。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。 MapReduce是一个并行计算与运行软件框架(Software Framework)。它提供了一个庞大但设计精良的并行计算软件框架,能自动完成计算任务的并行化处理,自动划分计算数据和计算任务,在集群节点上自动分配和执行任务以及收集计算结果,将数据分布存储、数据通信、容错处理等并行计算涉及
用户3467126
2019-07-03
4200
《Yarn的使用教程》--- 大数据系列
上图解析:ResourceManager和NodeManager设计源自于数据计算框架。ResourceManager主要负责资源调度,而NodeManager是监控每一个台客户机器的cpu,内存,硬盘和网络状况,同时汇报给ResourceManager。
用户3467126
2019-07-03
1K0
大数据概述----《大数据系列》
学习框架最简单快捷的方法是看官网:http://hadoop.apache.org/
用户3467126
2019-07-03
3950
《Hive使用教程》--- 大数据系列
1. Hive起源于Facebook,它使得针对Hadoop进行SQL查询成为可能,从而非程序员也可以方便地使用。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务运行。
用户3467126
2019-07-03
6.4K0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档