MFS分布式文件系统

一、工作原理

1、分布式原理

分布式文件系统就是把一些分散在多台计算机上的共享文件夹,集合到一个共享文件夹内,用户要访问这些文件夹的时候,只要打开一个文件夹,就可以的看到所有链接到此文件夹内的共享文件夹。

2、MFS原理

MFS是一个具有容错性的网络分布式文件系统,它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源。

1)MFS的组成

元数据服务器(Master):在整个体系中负责管理文件系统,维护元数据,目前不支持高可用。

元数据日志服务器(MetaLogger):备份Master服务器的变化日志文件,当master服务器损坏,可以从日志服务器中取得文件恢复。

数据存储服务器(Chunk Server):真正存储数据的服务器,服务器越多,容量就越大,可靠性越高,性能越好。

客户端(Client):可以像挂载NFS一样挂载MFS文件系统

2)MFS读数据的处理过程

n 客户端向元数据服务器发出读请求

n 元数据服务器把所需数据存放的位置(Chunk Server的IP地址和Chunk编号)告知客户端

n 客户端向已知的ChunkServer请求发送数据

n Chunk Server向客户端发送数据

3)写入的过程

n 客户端向元数据服务器发送写入请求

n 元数据服务器与ChunkServer进行交互,但元数据服务器只在某些服务器创建新的分块Chunks,创建成功后由Chunk Servers告知元数据服务器操作成功

n 元数据服务器告知客户端,可以在哪个Chunk Server的哪些Chunks写入数据

n 客户端向指定的ChunkServer写入数据

n 该Chunk Server与其他ChunkServer进行数据同步,同步成功后Chunk Server告知客户端数据写入成功

n 客户端告知元数据服务器本次写入完毕

3、配置文件(下面的只是介绍一下)

需要用到两个配置文件:mfsmaster.cfg(主配置文件)和mfsexport.cfg(被挂载目录及访问权限)

mfsmaster.cfg常用的参数如下,默认全部都是不需要修改的,全文都是以#开头,也就是说都是默认配置

[root@centos1mfs]# cd /usr/local/mfs/etc/mfs/

[root@centos1mfs]# vim mfsmaster.cfg

#WORKING_USER= mfs //运行masterserver的用户

#WORKING_GROUP = mfs //运行masterserver的组

#SYSLOG_IDENT = mfsmaster //masterserver在syslog的标示,说明是由masterserver产生的

#LOCK_MEMORY = 0 //是否执行mlockall(),以避免mfsmaster进程溢出默认为0

#NICE_LEVEL = -19 //运行的优先级,进程必须由root启动

#EXPORTS_FILENAME = /usr/local/mfs/etc/mfs/mfsexports.cfg

//被挂载目录及其权限控制文件的存放位置

#TOPOLOGY_FILENAME = /usr/local/mfs/etc/mfs/mfstopology.cfg

#DATA_PATH = /usr/local/mfs/var/mfs //数据存放路径

#BACK_LOGS = 50 //metadata改变的log文件数目(默认是50)

#BACK_META_KEEP_PREVIOUS = 1

#REPLICATIONS_DELAY_INIT = 300 //延迟复制的时间(默认300)

#REPLICATIONS_DELAY_DISCONNECT = 3600 //Chunkserver断开复制延迟(默认是3600秒)

#MATOML_LISTEN_HOST = * //metalogger监听的IP地址默认是所有地址

#MATOML_LISTEN_PORT = 9419 //metalogger监听的端口地址(默认为9419)

#MATOML_LOG_PRESERVE_SECONDS = 600

#MATOCL_LISTEN_HOST = * //用于chunkserver连接的IP地址(默认为*代表所有IP)

#MATOCL_LISTEN_PORT = 9421 //用户客户端挂在的监听端口9421

#CHUNKS_LOOP_MAX_CPS = 100000

#CHUNKS_LOOP_MIN_TIME = 300 //chunks的回环频率(默认300)

#CHUNKS_SOFT_DEL_LIMIT = 10

#CHUNKS_HARD_DEL_LIMIT = 25

#CHUNKS_WRITE_REP_LIMIT = 2 //在一个循环里复制到另外一个Chunkserver的最大Chunk数

#CHUNKS_READ_REP_LIMIT = 10 //在一个循环里从一个Chunkserver复制的的最大Chunk数

#ACCEPTABLE_DIFFERENCE = 0.1

#SESSION_SUSTAIN_TIME = 86400

# REJECT_OLD_CLIENTS= 0 //弹出低于1.6.0的客户端挂接(0或1,默认是0)

#deprecated:

#CHUNKS_DEL_LIMIT - use CHUNKS_SOFT_DEL_LIMIT instead

#LOCK_FILE - lock system has been changed, and this option is used onl

y tosearch for old lockfile

mfsexport.cfg文件参数格式如下

# Allow everythingbut "meta".

* / rw,alldirs,maproot=0

# Allow"meta".

* . rw

该文件,每一个条目分为三个部分

第一部分:客户端IP地址

第二部分:被挂载的目录

第三部分:客户端拥有的权限

地址可以指定几种表现形式

*代表所有的IP地址

n.n.n.n单个ip地址

n.n.n.n/b IP网络地址/位数掩码

n.n.n.n/m.m.m.m IP网络地址/子网掩码

f.f.f.f-t.t.t.t IP段

目录部分的标示如下

/标示MFS根

.表示MFSMETA文件系统

权限部分如下所示

ro——只读模式共享

rw——读写模式共享

alldirs——允许挂载任何指定的子目录

maproot——映射为root,还是普通用户

password——指定客户端的密码

以上就是对mfsmaster.cfg和mfsexport文件的解释。

原文发布于微信公众号 - L宝宝聊IT(gh_b0e552aa80db)

原文发表时间:2018-04-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张善友的专栏

Silverlight + Model-View-ViewModel (MVVM)

     早在2005年,John Gossman写了一篇关于Model-View-ViewModel模式的博文,这种模式被他所在的微软的项目组用来创建Expr...

2988
来自专栏张善友的专栏

LINQ via C# 系列文章

LINQ via C# Recently I am giving a series of talk on LINQ. the name “LINQ via C...

2665
来自专栏杨龙飞前端

scrollto 到指定位置

2534
来自专栏陈仁松博客

ASP.NET Core 'Microsoft.Win32.Registry' 错误修复

今天在发布Asp.net Core应用到Azure的时候出现错误InvalidOperationException: Cannot find compilati...

4878
来自专栏一个会写诗的程序员的博客

Spring Reactor 项目核心库Reactor Core

Non-Blocking Reactive Streams Foundation for the JVM both implementing a Reactiv...

2192
来自专栏C#

DotNet加密方式解析--非对称加密

    新年新气象,也希望新年可以挣大钱。不管今年年底会不会跟去年一样,满怀抱负却又壮志未酬。(不过没事,我已为各位卜上一卦,卦象显示各位都能挣钱...)...

4928
来自专栏Ceph对象存储方案

Luminous版本PG 分布调优

Luminous版本开始新增的balancer模块在PG分布优化方面效果非常明显,操作也非常简便,强烈推荐各位在集群上线之前进行这一操作,能够极大的提升整个集群...

3195
来自专栏张善友的专栏

Mix 10 上的asp.net mvc 2的相关Session

Beyond File | New Company: From Cheesy Sample to Social Platform Scott Hansel...

2597
来自专栏落花落雨不落叶

canvas画简单电路图

63311
来自专栏转载gongluck的CSDN博客

cocos2dx 打灰机

#include "GamePlane.h" #include "PlaneSprite.h" #include "BulletNode.h" #include...

5566

扫码关注云+社区