腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据解决方案

专栏作者

123

文章

163001

阅读量

36

订阅数

三大组件HDFS、MapReduce、Yarn框架结构的深入解析式地详细学习【建议收藏！】

node.js 大数据 vr 视频解决方案 mapreduce hadoop

我们知道目前Hadoop主要包括有三大组件，分别是：分布存储框架（HDFS）、分布式计算框架（MapReduce）、以及负责计算资源调度管理的平台（Yarn），那么今天我们就来解析式的深入学习了解这三大组件。

大数据老哥

2021-09-16

1.1K0

Hadoop分布式文件系统(HDFS)

大数据 hadoop 存储 https node.js

HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。

大数据老哥

2021-03-23

1.4K0

分布式计算—MapReduce、Spark、Storm、Flink分别适用什么场景

大数据 flink spark hadoop

链接：https://www.zhihu.com/question/403840013/answer/1317631316

大数据老哥

2021-03-05

1.6K0

最新Hadoop的面试题总结

文件存储 node.js mapreduce hadoop 数据库

1）Zookeeper：是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务，配置维护，命名服务。 2）Flume：一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 3）Hbase：是一个分布式的、面向列的开源数据库, 利用Hadoop HDFS作为其存储系统。 4）Hive：基于Hadoop的一个数据仓库工具，可以将结构化的数据档映射为一张数据库表，并提供简单的sql 查询功能，可以将sql语句转换为MapReduce任务进行运行。 5）Sqoop：将一个关系型数据库中的数据导进到Hadoop的 HDFS中，也可以将HDFS的数据导进到关系型数据库中。

大数据老哥

2021-03-05

5.1K0

企业是如何解决HDFS单点问题的？

zookeeper hadoop github 大数据 git

在早期Hadoop刚出来的时候是没有解决HDFS单点问题的，这就意味着当NameNode的服务器宕机了就会导致整个集群瘫痪，这是非常危险的于是在Hadoop不断的更新下提出了Hadoop HA来解决NameNode单点问题，接下来我们就来聊一聊。

大数据老哥

2021-02-04

3640

Hive的调优你都知道那些？

mapreduce hive hadoop

我们在工作中还是在学习中有都会遇到我们写的HQL语句执行效率不高，那我们该怎么提高查询效率那，这篇文章就带你从不同维度讲解,让你的HQL瞬间提高一个档次。记得收藏

大数据老哥

2021-02-04

8640

HDFS是如何设计架构的？

大数据解决方案 hadoop

Hadoop到目前为止发展已经有10余年，版本经过无数次的更新迭代，目前业内大家把Hadoop大的版本分为Hadoop1.0、Hadoop2.0、Hadoop3.0 三个版本。

大数据老哥

2021-01-28

4910

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态