学习
实践
活动
专区
工具
TVP
写文章

nfs挂载hdfs,实现存储

本来不知道nfs是啥,因为群里的Harry童鞋有个问题,如何把本地目录挂载到hdfs上,搞什么存储,说那么巧就是那么巧,HDP支持nfs,然后我就照着文档的说明去做,最后弄出来了。    这里就不修改了 <property>   <name>dfs.datanode.max.xcievers</name>   <value>1024</value> </property>   3.设置nf3的临时存储目录 <property> <name>dfs.nfs3.dump.dir</name> <value>/tmp/.hdfs-nfs</value> </property>   4.nfs本身也有 stop portmap   5.安装nfs yum install nfs-utils   6.然后分别执行以下两句命令检查一下   rpcinfo -p 127.0.0.1 program vers nfs -o vers=3,proto=tcp,nolock 127.0.0.1:/ /home/cenyuhai/nfs   然后我们可以看到nfs下面出现了这些目录,它们就是我在hdfs上面的目录

98640
  • 广告
    关闭

    对象存储COS专场特惠,新用户专享存储包低至1元

    一站式解决数据备份、共享、大数据处理、线上数据托管的云端存储服务

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    NFS存储服务部署

    什么是NFS 中文意思是网络文件系统,主要功能是通过网络(一般是局域网)让不同主机之间可以共享文件或目录 NFS属于本地文件存储服务  缺点1: windows上无法使用 如果想实现windows与Linux FTP服务 b.samba服务 缺点2: 在高并发场景,以及存储量比较高的场景,对数据安全性要求比较高的场景 需要采用分布式存储:Moosefs(mfs)、FastDFS 无法在服务器中看到真实的文件信息 NFS共享网络文件系统应用的场景 主要用于存储web服务器上用户上传的数据信息,图片、附件、视频、音频、头像 NFS文件系统存在意义 实现数据共享,数据统一一致 软件实现:本地文件系统NFS,分布式文件系统 mfs 硬件实现:IBM(服务器 小型机 大型机 存储 DS V7000 V5000)oracle EMC = 去IOE NFS网络文件系统工作方式 ?         ==直接存储到硬盘

    2K90

    NFS存储服务部署

    分布式文件系统Moosefs(mfs)\glusterFS 1.2.1 NFS的qudian nfs属于本地文件存储服务 缺点一:     winndows上无法使用 缺点二: 在高并发场景,以及存储量比较高的场景 共享网络文件系统企业应用 主要用于存储web服务器上用户上传的数据信息,图片 附件 头像 视频 音频 1.4 NFS文件系统存在意义 ? 实现数据共享,数据统一一致 1.4.1 实现的不同方法 软件实现: 本地文件系统NFS  分布式文件系统 mfs 硬件实现: IBM (服务器 小型机 大型机 存储 DS V7000 V5000) oracle 服务器内存中,会立刻同步到磁盘里面==直接存储硬盘中 2.2.3 第三个里程碑:创建共享目录,进行权限设定   mkdir /data -p   chown -R nfsnobody.nfsnobody 知识深入 3.1 NFS服务相关进程信息 3.1.1 简略说明 rpcbind        rpc启动进程 主进程 rpc state      检查数据存储的一致性 rpc.rquotad

    1.6K00

    Kubernetes集群使用网络存储NFS

    NFS存储 NFS即网络文件系统Network File System,它是一种分布式文件系统协议,最初是由Sun MicroSystems公司开发的类Unix操作系统之上的一款经典网络存储方案,其功能是在允许客户端主机可以像访问本地存储一样通过网络访问服务端文件 Kubernetes的NFS存储用于将某事先存在的NFS服务器导出export的存储空间挂载到Pod中来供Pod容器使用。与emptyDir不同的是,NFS存储在Pod对象终止后仅是被卸载而非删除。 另外,NFS是文件系统及共享服务,它支持同时存在多路挂载请求。定义NFS存储时,常用到以下字段。 •server:NFS服务器的IP地址或者主机名,必选字段。 : #使用NFS网络存储卷 server: 192.168.31.241 #NFS服务器地址 path: /data/redis NFS服务器192.168.31.241的存储卷,Redis容器将其挂载到容器中的/data目录上,它是运行于容器中的redis-server数据的持久保持位置。

    68530

    实战Kubernetes动态卷存储(NFS)

    之前的《 Kubernetes持久卷实战两部曲》系列中,我们实战了先声明一个存储卷,再使用这个存储卷,这种方式要求每次都要提前申明存储,不是很方便,而动态卷存储不需要提前申明,而是使用时自动申明,今天我们就来一起实战 请求将二进制文件上传到服务端,存储在Pod的本地路径,而这个路径已经被挂载到NFS; 通过客户端上传文件,检查文件是否保存在NFS上; 将web应用的Pod数扩展到两个,检查动态卷存储是否自动扩展; 网络服务图 ",这是我在阿里的搜索到的,原本打算使用"quay.io/kubernetes_incubator/nfs-client-provisioner:v1",但是在pull的时候报错:{“error”: “Permission Denied”},在实战过程中用了阿里的镜像可以正常工作,没有影响; 环境变量中有个PROVISIONER_NAME,值为fuseim.pri/ifs,后面的StorageClass 在此文件所在目录下执行 kubectl create -f nfs-class.yaml,即可创建存储类的资源,创建成功后,在dashboard页面看到,如下图: 创建web应用的Pod 存储已经准备好了

    28930

    Kubernetes 集群部署 NFS 网络存储

    为了使 Pod 在任何节点上都能够使用同一份持久化存储数据,我们需要使用网络存储的解决方案为 Pod 提供数据卷。常用的网络存储方案有:NFS/cephfs/glusterfs。 2、配置要求 本文以手动模式部署一个开发测试用集群为例,如果使用通过 Rook 支持 Ceph 存储方案,则不需要准备存储主机。每个主机的用途和需求是: ? 和rpcbind yum install -y nfs-utils rpcbind 3.3、创建存储的文件夹 # 创建文件夹 mkdir /nfs # 更改归属组与用户 chown -R nfsnobody 这里 NFS 服务端环境为: IP地址:172.16.106.205 存储目录:/nfs/data 存储目录:/nfs/helm_data 3、部署 NFS Provisioner 3.1、创建 ServiceAccount 45m 3.4.2、创建测试 Pod 并绑定 PVC 创建一个测试用的 Pod,指定存储为上面创建的 PVC,然后创建一个文件在挂载的 PVC 目录中,然后进入 NFS 服务器下查看该文件是否存入其中

    1.4K20

    TKE使用自建NFS持久化存储

    使用TKE的过程中,我们需要把pod一些文件持久化存储到外部,这边我们会用到nfs存储,其实在腾讯上有CFS服务,可以用CFS作为文件存储服务器,TKE也支持将文件挂载到CFS上存储。 但是如果你想自己管理nfs服务器,这边也可以通过自建nfs服务器来作为tke集群中pod存储。下面我们来说一下如何将pod的文件挂载到自建的nfs服务器来进行存储。 1. 创建nfs服务器 首先我们先在腾讯上申请一台cvm服务器,这边建议将对应的磁盘空间配置大点,并且cvm服务器的网络需要和tke集群处于一个vpc内,这样TKE集群可以通过内网直接访问nfs服务器进行挂载 # systemctl enable nfs # systemctl start nfs 1.2 ubuntu部署nfs服务端 # sudo apt-get install nfs-kernel-server 3.1 centos部署nfs客户端工具 yum -y install nfs-utils 3.2 ubuntu部署nfs客户端工具 sudo apt install nfs-common 4.

    1.2K31

    如何提高Linux系统nfs存储的性能

    mount nfs参数: mount的参数对存储的性能有很大的影响。 下面是一些基本的mount参数,大家可以参考。 例如:mount -F nfs -o hard 192.168.0.10:/nfs /nfs 对于到底是使用hard还是soft的问题,这主要取决于你访问什么信息有关。 udp:使用udp作为nfs的传输协议(NFS V2只支持UDP) tcp:使用tcp作为nfs的传输协议 namlen=n:设定远程服务器所允许的最长文件名。 如何测试nfs存储性能 我们可以用dd命令来向nfs存储中写入一些数据来查看存储的性能。 更多的细节可以参考这个帖子。 如何用dd命令来测试nfs性能 然后我们可以用nfsiostat来查看存储的性能,例如iops,带宽,延迟等等。 具体的可以参考这个帖子。

    1.5K10

    centos7搭建NFS共享存储服务

    安装nfs 提供RPC支持的服务为rpcbind 提供NFS共享的服务为nfs 注意:先启动rpc服务,再启动nfs服务 yum install nfs-utils rpcbind systemctl start rpcbind systemctl start nfs firewall-cmd --permanent --add-service=nfs #配置防火墙放行nfs服务 设置共享目录 配置文件说明 当NFS客户端以root管理员访问时,映射为NFS服务器的匿名用户 no_root_squash 当NFS客户端以root管理员访问时,映射为NFS服务器的root管理员 all_squash ,但可能会丢失数据 重新加载NFS服务,使配置文件生效 systemctl reload nfs 配置NFS固定端口 NFS启动时会随机启动多个端口并向RPC注册,为了设置安全组以及iptables规则 客户端挂载配置 NFS客户端安装rpcbind和nfs yum install nfs-utils rpcbind systemctl start rpcbind 使用showmount命令查看nfs服务器共享信息

    78310

    NFS网络文件存储系统搭建配置详解

    NFS最早是由Sun公司发展出来的,   简单的来说:它就是是可以透过网络,让不同的主机、不同的操作系统可以共享存储。 以下是NFS最显而易见的好处:   1. 节省本地存储空间,将常用的数据存放在一台NFS服务器上且可以通过网络访问,那么本地终端将可以减少自身存储空间的使用。   2. 一些存储设备CDROM和Zip(一种高储存密度的磁盘驱动器与磁盘)等都可以在网络上被别的机器使用。这可以减少整个网络上可移动介质设备的数量。    准备工作 一台RedHat 6 作为服务器,提供NFS服务 (192.168.120.5) 一台Redhat 6 作为客户端 ,调用存储空间 (192.168.120.10) 检查安装包【服务器与客户机都需要安装 NFS网络文件存储检测 1.客户端进入NFS挂载点 2.服务器端口进入提供NFS的文件目录

    17410

    关注

    腾讯云开发者公众号
    10元无门槛代金券
    洞察腾讯核心技术
    剖析业界实践案例
    腾讯云开发者公众号二维码

    相关产品

    • 文件存储

      文件存储

      文件存储(Cloud File Storage,CFS)为您提供安全可靠、可扩展的共享文件存储服务。CFS 可与腾讯云服务器、容器服务、批量计算等服务搭配使用,为多个计算节点提供容量和性能可弹性扩展的高性能共享存储。腾讯云 CFS 的管理界面简单、易使用,可实现对现有应用的无缝集;按实际用量付费,为您节约成本,简化 IT 运维工作。

    相关资讯

    热门标签

    活动推荐

    扫码关注腾讯云开发者

    领取腾讯云代金券