nfs挂载hdfs,实现云存储

  本来不知道nfs是啥,因为群里的Harry童鞋有个问题,如何把本地目录挂载到hdfs上,搞什么云存储,说那么巧就是那么巧,HDP支持nfs,然后我就照着文档的说明去做,最后弄出来了。

  1.修改机器上的hdfs-default.xml

   vi /share/lib/hadoop/conf/hdfs-default.xml

  如果没有hdfs-default就找hdfs-site.xml 设置为如下内容,hdp的默认值是0

<property>
  <name>dfs.access.time.precision</name>
  <value>3600000</value>
</property>

  2.修改hdfs-site.xml,HDP的默认值比较大,4096的,这里就不修改了

<property>
  <name>dfs.datanode.max.xcievers</name>
  <value>1024</value>
</property>

  3.设置nf3的临时存储目录

<property>
    <name>dfs.nfs3.dump.dir</name>
    <value>/tmp/.hdfs-nfs</value>
</property>

  4.nfs本身也有portmap和nfs3等东西,但是我们不用它们的,我们用hadoop本身自带的,分别执行以下的命令

hadoop portmap
hadoop nfs3

  或者

hadoop-daemon.sh start portmap
hadoop-daemon.sh start nfs3

  使用上面的命令启动的,可以用以下的命令停止

hadoop-daemon.sh stop nfs3
hadoop-daemon.sh stop portmap

  5.安装nfs yum install nfs-utils

  6.然后分别执行以下两句命令检查一下

  rpcinfo -p 127.0.0.1

program vers proto port
100005 1 tcp 4242 mountd
100005 2 udp 4242 mountd
100005 2 tcp 4242 mountd
100000 2 tcp 111 portmapper
100000 2 udp 111 portmapper
100005 3 udp 4242 mountd

  showmount -e 127.0.0.1

Exports list on $nfs_server_ip:
/ (everyone)

  7.把本地的home/cenyuhai/nfs和hdfs做映射,做完映射之后,hdfs上的目录会出现在本地的/home/cenyuhai/nfs目录中

mount -t nfs -o vers=3,proto=tcp,nolock 127.0.0.1:/ /home/cenyuhai/nfs

  然后我们可以看到nfs下面出现了这些目录,它们就是我在hdfs上面的目录。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

abaqus中python脚本的应用

abaqus提供了很丰富的功能,然而有时候操作起来并不方便或者没有我们想要的基本功能。此外,在工作中经常会处理一些重复性的操作,这时候用python脚本处理将会...

4359
来自专栏BIT泽清

React Native应用部署/马甲包热更新-CodePush最新集成总结(2018年最新)

React Native支持大家用React Native技术开发APP,并打包生成一个APP。在动态更新方面React Native只是提供了动态更新的基础,...

3120
来自专栏Unity

天天德州-海外版-Unity多语言配置实现

不同类型的文本实现不一样,思路是一致的,首先生成本地配置描述,在运行时脚本根据语言类型读取配置数据。

5303
来自专栏wblearn

代码提示插件Spket

Spket是一个可以在Eclipse及MyEclipse中实现JavaScript代码自动提示、自动校验、自动纠错的插件。

1101
来自专栏Vue ssr

vue填坑记录:serverCacheKey缓存

服务器端渲染时,缓存是一个逃不开的优化点,降低node server 负载,提高QPS。

4853
来自专栏Android自学

android studio如何修改包名

3423
来自专栏零基础使用Django2.0.1打造在线教育网站

零基础使用Django2.0.1打造在线教育网站(四):简易留言簿基础开发

努力与运动兼备~有任何问题可以加我好友或者关注微信公众号,欢迎交流,我们一起进步!

3685
来自专栏python学习之旅

Python笔记(一):安装+爬虫环境配置+打包为EXE文件

1、     安装 https://www.python.org/downloads/windows/ 到官网下载安装程序 Windows x86      ...

43610
来自专栏技术博文

SSDB 配置文件

SSDB 的配置非常简单, 附带的 ssdb.conf 你不用修改便可以使用. 如果你要高度定制, 还是需要修改一些配置的. 下面做介绍. SSDB 的配置文件...

2715
来自专栏张首富-小白的成长历程

自动化部署安装nfs+rsync+sersync+nfs客户端+SMTP

rsync对nfs服务器的目录做实时备份,使用sersync+rsync,每天定时备份配置文件,本地保存7天,rsync服务器上保存180天。

1362

扫码关注云+社区

领取腾讯云代金券