前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >配置HDFS HttpFS和WebHDFS

配置HDFS HttpFS和WebHDFS

作者头像
一见
发布2018-08-02 10:22:42
1.4K0
发布2018-08-02 10:22:42
举报
文章被收录于专栏:蓝天蓝天

HDFS支持两种RESTful接口:WebHDFS和HttpFS。

WebHDFS默认端口号为50070,HttpFS默认端口号为14000。

默认启动WebHDFS而不会启动HttpFS,而HttpFS需要通过sbin/httpfs.sh来启动。

WebHDFS模式客户端和DataNode直接交互,HttpFS是一个代理模式。对于Hue,如果HDFS是HA方式部署的,则只能使用HttpFS模式。

HttpFS是独立的模块,有自己的配置文件httpfs-site.xml、环境配置文件httpfs-env.sh和日志配置文件httpfs-log4j.properties,需独立启动。

而WebHDFS是HDFS内置模块,无自己的配置文件、环境配置文件和日志配置文件,随HDFS而启动。

WebHDFS配置,在core-site.xml中加入以下内容:

    hadoop.proxyuser.$username.hosts

    *

    hadoop.proxyuser.$groupname.groups

    *

“$username”的值为启动HDFS的用户名,“$groupname”为启动HDFS的用户组名。

HttpFS配置,在core-site.xml中加入以下内容:

    hadoop.proxyuser.httpfs.hosts

    *

    hadoop.proxyuser.httpfs.groups

    *

对于HttpFS,还需要在httpfs-site.xml中加入以下内容:

    httpfs.proxyuser.$username.hosts

    *

    httpfs.proxyuser.$groupname.groups

    *

“$username”的值为启动HttpFS的用户名,“$groupname”为启动HttpFS的用户组名。

环境配置文件httpfs-env.sh可以不用修改,直接使用默认的值,当使用sbin/httpfs.sh来启动HttpFS时会屏幕输出HTTPFS_HOME等值。

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2016-10-28 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档