前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >HDFS-配置项

HDFS-配置项

作者头像
栗筝i
发布2022-12-01 20:26:27
2570
发布2022-12-01 20:26:27
举报
文章被收录于专栏:迁移内容迁移内容

一、core-site.xml与core-default.xml

core-default.xml与core-site.xml的功能是一样的,如果在core-site.xml里没有配置的属性,则会自动会获取core-default.xml里的相同属性的值

代码语言:javascript
复制
 <configuration>
       <property>
         <!-- 这个属性用来指定namenode的hdfs协议的文件系统通信地址,可以指定一个主机+端口,也可以指定为一个namenode服务(这个服务内部可以有多台namenode实现ha的namenode服务) -->
          <name>fs.defaultFS</name>
          <value>hdfs://localhost:9000</value>
       </property>
       <property>
          <!-- 这个属性用来执行文件IO缓冲区的大小-->
 
          <name>io.file.buffer.size</name>
          <value>131072</value>
        </property>
       <property>
         <!-- 指定hadoop临时目录,前面用file:表示是本地目录。也可以直接使用/usr/local/hadoop/tm,我估计不加file:应该也可以。hadoop在运行过程中肯定会有临时文件或缓冲之类的,必然需要一个临时目录来存放,这里就是指定这个的。当然这个目录前面我们已经创建好了。 -->
         <name>hadoop.tmp.dir</name>
         <value>file:/usr/local/apps/hadoop-3.2.1/tmp</value>
         <description>Abase for other temporary directories.</description>
       </property>
        <property>
            <!-- 配置ipc传输大小 -->
           <name>ipc.maximum.data.length</name>
           <value>134217728</value>
        </property>
 
</configuration>

具体配置可以参考https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml

二、hdfs-site.xml与hdfs-default.xml

hdfs-default.xml与hdfs-site.xml的功能是一样的,如果在hdfs-site.xml里没有配置的属性,则会自动会获取hdfs-default.xml里的相同属性的值

代码语言:javascript
复制
 <configuration>
 
       <property>
 
            <!-- secondary namenode的http通讯地址,有何用呢?为何不用hdfs协议了?我还不太清楚-->
                <name>dfs.namenode.secondary.http-address</name>
               <value>localhost:50070</value>
       </property>
     <property>
            <!-- namenode数据的存放地点。也就是namenode元数据存放的地方,记录了hdfs系统中文件的元数据-->
 
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/apps/hadoop-3.2.1/dfs/name</value>
       </property>
      <property>
            <!-- datanode数据的存放地点。也就是block块存放的目录了-->
 
              <name>dfs.datanode.data.dir</name>
              <value>file:/usr/local/apps/hadoop-3.2.1/dfs/data</value>
       </property>
       <property>
            <!-- hdfs的副本数设置。也就是上传一个文件,其分割为block块后,每个block的冗余副本个数-->
 
               <name>dfs.replication</name>
               <value>3</value>
        </property>
        <property>
            <!-- 开启hdfs的web访问接口。默认端口是50070-->
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
         </property>
</configuration>

具体配置可以参考https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2020-08-25,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、core-site.xml与core-default.xml
  • 二、hdfs-site.xml与hdfs-default.xml
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档