如何将HDFS文件系统挂载到Linux本地文件系统

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢

1.文档编写目的


Hadoop支持通过NFSv3挂载HDFS文件系统到本地目录,允许用户像访问本地文件系统一样访问HDFS,对于普通用户来说大大的简化了HDFS的使用。该功能通过引入NFS Gateway服务实现,将NFS协议转换为HDFS访问协议。本篇文章主要讲述如何将HDFS文件系统挂载到Linux本地。

  • 内容概述

1.安装NFS GateWay服务

2.安装NFS依赖包

3.挂载HDFS目录到本地目录及自动挂载

4.测试NFS挂载

  • 测试环境

1.CM和CDH版本为5.11.2

2.安装NFS GateWay服务


1.使用管理员账号登录Cloudera Manager,进入HDFS服务“实例”界面

2.点击“添加角色实例”

3.点击“继续”

4.选择新添加的NFS GateWay服务并启动

启动成功

至此完成HDFS的NFS GateWay服务安装。

3.在Linux下挂载NFS文件系统


由于机器有限,这里Fayson选择集群任意节点(ip-172-31-21-45.ap-southeast-1.compute.internal)进行NFS挂载。

1.登录172.31.21.45服务,安装NFS依赖包

[ec2-user@ip-172-31-21-45 ~]$ sudo yum -y install nfs-utils*

2.创建本地NFS挂载目录

[ec2-user@ip-172-31-21-45 ~]$ sudo mkdir /hdfs_nfs_mount

3.在命令行执行如下命令挂载NFS文件系统

[ec2-user@ip-172-31-21-45 ~]$ sudo mount -t nfs -o vers=3,proto=tcp,nolock ip-172-31-26-80.ap-southeast-1.compute.internal:/ /hdfs_nfs_mount

这里可以看到我们的NFS文件系统目录已挂载成功。

4.自动挂载NFS文件系统


1.编辑/etc/fstab文件,在文件最后行增加如下配置

[ec2-user@ip-172-31-21-45 ~]$ sudo vim /etc/fstab 

#
# /etc/fstab
# Created by anaconda on Tue Oct 25 15:56:15 2016
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=d8048d39-5ce3-4cdf-9115-416a99b36906 /                       xfs     defaults        0 0
ip-172-31-26-80.ap-southeast-1.compute.internal:/ /hdfs_nfs_mount nfs     defaults        0 0

2.重启OS后查看是否挂载成功

5.验证NFS挂载


1.进入/hdfs_nfs_mount目录,列出HDFS根目录下所有的文件

[ec2-user@ip-172-31-21-45 ~]$ cd /hdfs_nfs_mount/
[ec2-user@ip-172-31-21-45 hdfs_nfs_mount]$ ll

HDFS根目录文件列表

通过本地文件系统浏览的目录与HDFS上面的文件系统一致。

2.使用ec2-user用户向本地文件系统/hdfs_nfs_mount/fayson目录拷贝文件

[ec2-user@ip-172-31-21-45 ~]$ cp fayson.keytab /hdfs_nfs_mount/fayson/
[ec2-user@ip-172-31-21-45 ~]$ ll /hdfs_nfs_mount/fayson/
total 28181
-rw------- 1 ec2-user 2584148964      514 Dec 27 08:39 fayson.keytab
-rw-r--r-- 1 ec2-user 2584148964 28855325 Oct  3 10:28 item.csv
[ec2-user@ip-172-31-21-45 ~]$ 

3.查看HDFS文件系统的/fayson目录

可以看到HDFS文件系统的/fayson目录下文件与本地文件系统/hdfs_nfs_mount/fayson目录文件内容一致。

为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2017-12-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Hadoop实操

Impala动态资源池及放置规则使用

Fayson在前面的文章介绍了《如何启用Impala的动态资源池》。管理员可以通过Impala的动态资源池、放置规则及ACL控制不同的用户对Impala资源使用...

3574
来自专栏KaliArch

大数据平台CDH搭建

Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,...

4415
来自专栏性能与架构

Hadoop如何使用Zookeeper来保障高可用?

问题描述 Hadoop 中有一个分布式调度框架 YARN,是很基础的重要框架,用来支持多种计算模型和进行资源调度。 先看下 YARN 的架构图 ? 不需要了解这...

3756
来自专栏AILearning

Apache Zeppelin 中 HDFS文件系统 解释器

概述 Hadoop文件系统是hadoop项目的分布式,容错文件系统的一部分,通常用作Hadoop MapReduce和Apache Spark或Allux...

2555
来自专栏Hadoop实操

如何迁移CDH的opt目录

部分企业对OS的目录空间划分有严格的要求(如:/、/opt、/var等目录),CDH安装的安装目录默认是在/opt下,随着版本的升级和新组件的安装占用了大量的/...

1564
来自专栏Hadoop实操

如何启用Impala的动态资源池

在Cloudera Manager中动态资源池分为Yarn的动态资源池和Impala的动态资源池两种。Fayson在前面有多篇文章介绍了Yarn动态资源池的使用...

5024
来自专栏我爱编程

搭建Hadoop伪分布式环境

安装SSH: sudo yum install opensh-clients openssh-server 安装完成后,可以使用下面命令进行测试: ssh...

3203
来自专栏Hadoop实操

如何在Azkaban安装插件(二)

前面Fayson介绍了《如何编译安装Azkaban服务》和《如何编译Azkaban插件》及《如何在Azkaban中安装HDFS插件以及与CDH集成》,我们知道A...

2.3K11
来自专栏蓝天

使用process_monitor.sh监控hadoop进程的crontab配置

可以从下列链接找到process_monitor.sh: https://github.com/eyjian/mooon/blob/master/commo...

1182
来自专栏岑玉海

Spark硬件配置推荐

1、存储系统   如果可以的话,把Spark的hadoop的节点安装在一起,最容易的方式是用standalone的模式安装,用mapred.child.java...

3707

扫码关注云+社区

领取腾讯云代金券