专栏首页Hadoop实操如何将HDFS文件系统挂载到Linux本地文件系统

如何将HDFS文件系统挂载到Linux本地文件系统

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢

1.文档编写目的


Hadoop支持通过NFSv3挂载HDFS文件系统到本地目录,允许用户像访问本地文件系统一样访问HDFS,对于普通用户来说大大的简化了HDFS的使用。该功能通过引入NFS Gateway服务实现,将NFS协议转换为HDFS访问协议。本篇文章主要讲述如何将HDFS文件系统挂载到Linux本地。

  • 内容概述

1.安装NFS GateWay服务

2.安装NFS依赖包

3.挂载HDFS目录到本地目录及自动挂载

4.测试NFS挂载

  • 测试环境

1.CM和CDH版本为5.11.2

2.安装NFS GateWay服务


1.使用管理员账号登录Cloudera Manager,进入HDFS服务“实例”界面

2.点击“添加角色实例”

3.点击“继续”

4.选择新添加的NFS GateWay服务并启动

启动成功

至此完成HDFS的NFS GateWay服务安装。

3.在Linux下挂载NFS文件系统


由于机器有限,这里Fayson选择集群任意节点(ip-172-31-21-45.ap-southeast-1.compute.internal)进行NFS挂载。

1.登录172.31.21.45服务,安装NFS依赖包

[ec2-user@ip-172-31-21-45 ~]$ sudo yum -y install nfs-utils*

2.创建本地NFS挂载目录

[ec2-user@ip-172-31-21-45 ~]$ sudo mkdir /hdfs_nfs_mount

3.在命令行执行如下命令挂载NFS文件系统

[ec2-user@ip-172-31-21-45 ~]$ sudo mount -t nfs -o vers=3,proto=tcp,nolock ip-172-31-26-80.ap-southeast-1.compute.internal:/ /hdfs_nfs_mount

这里可以看到我们的NFS文件系统目录已挂载成功。

4.自动挂载NFS文件系统


1.编辑/etc/fstab文件,在文件最后行增加如下配置

[ec2-user@ip-172-31-21-45 ~]$ sudo vim /etc/fstab 

#
# /etc/fstab
# Created by anaconda on Tue Oct 25 15:56:15 2016
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=d8048d39-5ce3-4cdf-9115-416a99b36906 /                       xfs     defaults        0 0
ip-172-31-26-80.ap-southeast-1.compute.internal:/ /hdfs_nfs_mount nfs     defaults        0 0

2.重启OS后查看是否挂载成功

5.验证NFS挂载


1.进入/hdfs_nfs_mount目录,列出HDFS根目录下所有的文件

[ec2-user@ip-172-31-21-45 ~]$ cd /hdfs_nfs_mount/
[ec2-user@ip-172-31-21-45 hdfs_nfs_mount]$ ll

HDFS根目录文件列表

通过本地文件系统浏览的目录与HDFS上面的文件系统一致。

2.使用ec2-user用户向本地文件系统/hdfs_nfs_mount/fayson目录拷贝文件

[ec2-user@ip-172-31-21-45 ~]$ cp fayson.keytab /hdfs_nfs_mount/fayson/
[ec2-user@ip-172-31-21-45 ~]$ ll /hdfs_nfs_mount/fayson/
total 28181
-rw------- 1 ec2-user 2584148964      514 Dec 27 08:39 fayson.keytab
-rw-r--r-- 1 ec2-user 2584148964 28855325 Oct  3 10:28 item.csv
[ec2-user@ip-172-31-21-45 ~]$ 

3.查看HDFS文件系统的/fayson目录

可以看到HDFS文件系统的/fayson目录下文件与本地文件系统/hdfs_nfs_mount/fayson目录文件内容一致。

为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看

本文分享自微信公众号 - Hadoop实操(gh_c4c535955d0f),作者:Fayson

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-12-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 如何使用Cloudera Manager禁用HDFS HA

    前面Fayson写过《如何使用Cloudera Manager启用HDFS的HA》。本篇文章主要讲述如何使用Cloudera Manager禁用HDFS HA。

    Fayson
  • 什么是HDFS透明加密

    数据加密是安全级别要求较高企业所必须的,比如说金融行业,医疗行业或者政府。我们知道HDFS中的数据会以block的形式保存在各台数据节点的本地磁盘中,但这些bl...

    Fayson
  • 如何使用Intellij搭建Spark开发环境

    在开始Spark学习之前,首先需要搭建Spark的开发环境,可以基于Eclipse或者Intellij等IDE,本文档主要讲述如何使用Intellij搭建Spa...

    Fayson
  • SAN、NAS、DAS是什么东西?它们之间有什么关联?

    前言: 数据中心机房设备分类众多,大大小小的设备零部件及部位,都是决定着数据中心是否安全运营的基础,下面普及总结中心技术名词,SAN、NAS、DAS,是什么意思...

    企鹅号小编
  • 高仿微信双击消息弹出可自由复制

    Enmmm,前几天突然才晓得微信还有一个双击消息弹出且提供自由复制的这么一个小功能,惊呆了,我滴天~!

    HLQ_Struggle
  • 【开发实战】30分钟完成一个AI小程序

    前言:作为一个无任何开发背景的产品经理,我通过一周时间摸索出一个最短开发AI小程序的路径。这里把我的小程序源码,还有需要做的每一步工作都进行了记录和分享。相信你...

    陈华山
  • 关于编程学习的两点建议

    在初步进入编程语言学习的过程中,有许多意想不到的困难。在这里向大家有两点小的提醒。

    KEVINGUO_CN
  • 从“党妹被勒索”事件看NAS系统安全

    27号,B站拥有500万粉丝的UP主“党妹”发视频说被勒索病毒攻击了,存储在NAS里的数百G视频素材被加密,造成损失。大家在声讨黑客的同时,也表示对NAS不太熟...

    用户6477171
  • 酷炫操作预热!代码实现小星球特效

    搞了两天,想的头秃,终于大致显示“小星球特效”,不过这个过程还是让我感觉收获到一些东西,感受到了数学之美【公式推导和空间想象能力,太久没有手推技术有点差劲】。

    AI算法与图像处理
  • 如何利用内网穿透,异地访问NAS文件

    NAS存储从诞生以来就备受大家的喜欢, 得益于多系统互访、即插即用、小开销、多协议等优点,很多企业都会采用他来存储和共享资源,也有很多个人玩家自建NAS服务,玩...

    用户5084575

扫码关注云+社区

领取腾讯云代金券