腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

桥路_大数据

专栏作者

179

文章

227916

阅读量

36

订阅数

Hadoop面试题汇总-20221031

缓存大数据 yarn node.js 文件存储

HDFS提供了一个高效的缓存加速机制—— Centralized Cache Management ，它允许用户指定要缓存的HDFS路径。NameNode会和保存着所需Block数据的所有DataNode通信，并指导它们把块数据缓存在堆外内存（off-heap）中进行缓存。DataNode会通过心跳机制向NameNode汇报缓存状态。

十里桃花舞丶

2022-11-14

6810

【MapReduce】作业调试

javascript yarn node.js hadoop mapreduce

因为yarn集群重启之后，作业的历史运行日志和信息就被清理掉了，对于定位历史任务的错误信息很不友好，所以首先开启History Server用于保存所有作业的历史信息。

十里桃花舞丶

2021-09-10

2260

【Yarn】基本使用与监控

Yarn是一个资源管理框架，所以它可以对提交到集群中的任务进行查看，并可以强制结束这些任务。

十里桃花舞丶

2021-09-10

3070

【Yarn】资源调度策略

Yarn既然是一个分布式资源调度框架，管理着节点上的计算资源，那它分配这些资源的时候，便会存在调度策略。

十里桃花舞丶

2021-09-10

5580

【Yarn】系统架构&高可用

node.js 系统架构

Yarn在架构上是主从架构，其中Resource Manager是主节点，Node Manager是从节点。在架构部署上，Node Manager与HDFS的DataNode安装在同一节点，以便将计算任务移动到数据上。

十里桃花舞丶

2021-09-10

4060

【Yarn】分布式资源管理框架Yarn

hadoop yarn mapreduce node.js 分布式

在Hadoop 1.x中，是没有Yarn这个分布式资源管理框架的，它在Hadoop 2.x中首次推出。它诞生的原因其实很简单，就是Hadoop 1.x中的架构存在一些问题。

十里桃花舞丶

2021-09-10

3150

【HDFS】管理与运维

通过50070端口，可以访问HDFS Web UI：http://activeNameNodeHost:50070，需将activeNameNodeHost自行替换为主节点IP，如http://192.168.31.41:50070

十里桃花舞丶

2021-09-10

2.6K0

【HDFS】服务启动&Shell命令

node.js 大数据 shell hadoop

因为脚本执行过程中，已经自动将Hadoop环境变量和节点间SSH免密登录配置好了，所以直接执行start-dfs.sh便可以直接启动HDFS集群（同时会启动Yarn）。

十里桃花舞丶

2021-09-10

1K0

【HDFS】环境搭建与基本配置

node.js centos linux

使用3台虚拟机来进行搭建集群，分别为Node01、Node02、Node03。集群的规划如下：

十里桃花舞丶

2021-09-10

2840

【单点】每日突破，Yarn公平调度配置

大数据 xml yarn node.js

如果有帮助的，记得点赞、关注。在公众号《数舟》中，可以免费获取专栏《数据仓库》配套的视频课程、大数据集群自动安装脚本，并获取进群交流的途径。

十里桃花舞丶

2021-09-10

4220

大数据环境安装脚本升级

大数据 node.js hadoop

新版本的脚本，已经提交到hive分支中，master分支因为之前的课程原因暂不进行升级，之后测试通过后再进行合并。

十里桃花舞丶

2021-01-21

2820

Yarn资源调度策略

yarn node.js 大数据

Yarn既然是一个分布式资源调度框架，管理着节点上的计算资源，那它分配这些资源的时候，便会存在调度策略。

十里桃花舞丶

2021-01-05

1K0

CentOS7服务器NodeJS安装

node.js react nat

前言因为最近完工了一个react native的app，准备上线，所以试用了一个云服务器搭建运行环境试试手。下面是自己安装nodejs服务的一些步骤。安装步骤 1. 安装git yum install git -y 注：安装git是用来自动执行下载到本地的shell脚本，即下面要下载的nvm安装脚本。 2. 安装nvm服务，这个是用来管理node版本的工具，可以在服务器上切换不同的node环境打开github找到nvm： https://github.com/creationix/nvm 两

十里桃花舞丶

2018-05-17

1.5K1

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态