前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >hdoop(2)——hdfs一些常用的配置文件

hdoop(2)——hdfs一些常用的配置文件

作者头像
gzq大数据
发布2020-11-11 16:58:04
3770
发布2020-11-11 16:58:04
举报
文章被收录于专栏:大数据那些事大数据那些事

(1)core-site xml

此文件在etc/hadoop/下,此目录下写入了外部访问hdfs的端口信息:

在这里插入图片描述
在这里插入图片描述

默认端口号为9000

(2)hdfs-site xml

此文件位置同(1),用cat命令查看该文件: <1>

在这里插入图片描述
在这里插入图片描述

此处内容表示的是副本数,在这里可以设置副本数为几个 <2>

在这里插入图片描述
在这里插入图片描述

<3>

在这里插入图片描述
在这里插入图片描述

此处可以看到datanode数据存放在哪 此处可以设置我们的namenode的文件放置在哪

(3)mapred-site xml

文件位置同上 <1>

在这里插入图片描述
在这里插入图片描述

此处指定了mapreduce执行的端口号为9001 <2>

在这里插入图片描述
在这里插入图片描述

此处指定了调度工具为yarn

(4)yarn-site xml

文件位置同上 <1>

在这里插入图片描述
在这里插入图片描述

我们在shuffle阶段处理所用到的工具 <2>

在这里插入图片描述
在这里插入图片描述

yarn跑起来后的hostname的设定 <3>

在这里插入图片描述
在这里插入图片描述

配置虚拟内存是否检查

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020-10-07 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • (1)core-site xml
  • (2)hdfs-site xml
  • (3)mapred-site xml
  • (4)yarn-site xml
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档