前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >MFS分布式文件系统

MFS分布式文件系统

作者头像
L宝宝聊IT
发布2018-06-20 13:17:47
1.3K0
发布2018-06-20 13:17:47
举报
文章被收录于专栏:L宝宝聊ITL宝宝聊ITL宝宝聊IT

一、工作原理

1、分布式原理

分布式文件系统就是把一些分散在多台计算机上的共享文件夹,集合到一个共享文件夹内,用户要访问这些文件夹的时候,只要打开一个文件夹,就可以的看到所有链接到此文件夹内的共享文件夹。

2、MFS原理

MFS是一个具有容错性的网络分布式文件系统,它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源。

1)MFS的组成

元数据服务器(Master):在整个体系中负责管理文件系统,维护元数据,目前不支持高可用。

元数据日志服务器(MetaLogger):备份Master服务器的变化日志文件,当master服务器损坏,可以从日志服务器中取得文件恢复。

数据存储服务器(Chunk Server):真正存储数据的服务器,服务器越多,容量就越大,可靠性越高,性能越好。

客户端(Client):可以像挂载NFS一样挂载MFS文件系统

2)MFS读数据的处理过程

n 客户端向元数据服务器发出读请求

n 元数据服务器把所需数据存放的位置(Chunk Server的IP地址和Chunk编号)告知客户端

n 客户端向已知的ChunkServer请求发送数据

n Chunk Server向客户端发送数据

3)写入的过程

n 客户端向元数据服务器发送写入请求

n 元数据服务器与ChunkServer进行交互,但元数据服务器只在某些服务器创建新的分块Chunks,创建成功后由Chunk Servers告知元数据服务器操作成功

n 元数据服务器告知客户端,可以在哪个Chunk Server的哪些Chunks写入数据

n 客户端向指定的ChunkServer写入数据

n 该Chunk Server与其他ChunkServer进行数据同步,同步成功后Chunk Server告知客户端数据写入成功

n 客户端告知元数据服务器本次写入完毕

3、配置文件(下面的只是介绍一下)

需要用到两个配置文件:mfsmaster.cfg(主配置文件)和mfsexport.cfg(被挂载目录及访问权限)

mfsmaster.cfg常用的参数如下,默认全部都是不需要修改的,全文都是以#开头,也就是说都是默认配置

[root@centos1mfs]# cd /usr/local/mfs/etc/mfs/

[root@centos1mfs]# vim mfsmaster.cfg

#WORKING_USER= mfs //运行masterserver的用户

#WORKING_GROUP = mfs //运行masterserver的组

#SYSLOG_IDENT = mfsmaster //masterserver在syslog的标示,说明是由masterserver产生的

#LOCK_MEMORY = 0 //是否执行mlockall(),以避免mfsmaster进程溢出默认为0

#NICE_LEVEL = -19 //运行的优先级,进程必须由root启动

#EXPORTS_FILENAME = /usr/local/mfs/etc/mfs/mfsexports.cfg

//被挂载目录及其权限控制文件的存放位置

#TOPOLOGY_FILENAME = /usr/local/mfs/etc/mfs/mfstopology.cfg

#DATA_PATH = /usr/local/mfs/var/mfs //数据存放路径

#BACK_LOGS = 50 //metadata改变的log文件数目(默认是50)

#BACK_META_KEEP_PREVIOUS = 1

#REPLICATIONS_DELAY_INIT = 300 //延迟复制的时间(默认300)

#REPLICATIONS_DELAY_DISCONNECT = 3600 //Chunkserver断开复制延迟(默认是3600秒)

#MATOML_LISTEN_HOST = * //metalogger监听的IP地址默认是所有地址

#MATOML_LISTEN_PORT = 9419 //metalogger监听的端口地址(默认为9419)

#MATOML_LOG_PRESERVE_SECONDS = 600

#MATOCL_LISTEN_HOST = * //用于chunkserver连接的IP地址(默认为*代表所有IP)

#MATOCL_LISTEN_PORT = 9421 //用户客户端挂在的监听端口9421

#CHUNKS_LOOP_MAX_CPS = 100000

#CHUNKS_LOOP_MIN_TIME = 300 //chunks的回环频率(默认300)

#CHUNKS_SOFT_DEL_LIMIT = 10

#CHUNKS_HARD_DEL_LIMIT = 25

#CHUNKS_WRITE_REP_LIMIT = 2 //在一个循环里复制到另外一个Chunkserver的最大Chunk数

#CHUNKS_READ_REP_LIMIT = 10 //在一个循环里从一个Chunkserver复制的的最大Chunk数

#ACCEPTABLE_DIFFERENCE = 0.1

#SESSION_SUSTAIN_TIME = 86400

# REJECT_OLD_CLIENTS= 0 //弹出低于1.6.0的客户端挂接(0或1,默认是0)

#deprecated:

#CHUNKS_DEL_LIMIT - use CHUNKS_SOFT_DEL_LIMIT instead

#LOCK_FILE - lock system has been changed, and this option is used onl

y tosearch for old lockfile

mfsexport.cfg文件参数格式如下

# Allow everythingbut "meta".

* / rw,alldirs,maproot=0

# Allow"meta".

* . rw

该文件,每一个条目分为三个部分

第一部分:客户端IP地址

第二部分:被挂载的目录

第三部分:客户端拥有的权限

地址可以指定几种表现形式

*代表所有的IP地址

n.n.n.n单个ip地址

n.n.n.n/b IP网络地址/位数掩码

n.n.n.n/m.m.m.m IP网络地址/子网掩码

f.f.f.f-t.t.t.t IP段

目录部分的标示如下

/标示MFS根

.表示MFSMETA文件系统

权限部分如下所示

ro——只读模式共享

rw——读写模式共享

alldirs——允许挂载任何指定的子目录

maproot——映射为root,还是普通用户

password——指定客户端的密码

以上就是对mfsmaster.cfg和mfsexport文件的解释。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-04-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 L宝宝聊IT 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档