Hadoop基础教程-第3章 HDFS：分布式文件系统（3.3 HDFS参数解读）
Hadoop基础教程-第3章 HDFS：分布式文件系统（3.3 HDFS参数解读）
第3章 HDFS：分布式文件系统
3.3 HDFS参数解读
3.3.1 官方文档
Hadoop官方文档地址： http://hadoop.apache.org/docs/r2.7.3/
由于Hadoop相关参数页面需要通过FireFox浏览器打开，这里需要你先安装FireFox浏览器。
下拉页面，可以在页面左下角找到“Configuration”，其下面有core-site.xml、hdfs-site.xml两个链接。本节内容主要是解读一下这两个文件中的主要参数。
2017-5-25 更新： 现在官方已经能更新谷歌浏览器也可以打开默认参数页面了
3.3.2 core-site.xml
集群全局参数在core-site.xml文件中设置，用于定义系统级别的参数，如HDFS URL、Hadoop的临时目录等。 通过FireFox打开“Configuration”的“core-site.xml”链接： http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/core-default.xml
名称 | 默认值 | 说明 |
|---|---|---|
hadoop.tmp.dir | /tmp/hadoop-${user.name} | 临时文件夹 |
fs.defaultFS | file:/// | 文件系统主机和端口 |
io.file.buffer.size | 4096 | 流文件的缓冲区大小，建议设置为65536 （ 64K） |
3.3.3 hdfs-site.xml
HDFS相关参数在hdfs-site.xml文件中设置，如名称节点和数据节点的存放位置、文件副本的个数、文件读取权限等。 通过FireFox打开“Configuration”的“hdfs-site.xml”链接： http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
名称 | 默认值 | 说明 |
|---|---|---|
dfs.name.dir | ${hadoop.tmp.dir}/dfs/name | NameNode 元数据存放位置 |
dfs.data.dir | ${hadoop.tmp.dir}/dfs/data | DataNode在本地磁盘存放block的位置，可以是以逗号分隔的目录列表 |
dfs.permissions | true | 检查权限 |
dfs.replication | 3 | 文件副本数 |
dfs.namenode.secondary.http-address | 0.0.0.0:50090 | 定义HDFS对应的HTTP服务器地址和端口 |