MFS分布式文件系统

一、工作原理

1、分布式原理

分布式文件系统就是把一些分散在多台计算机上的共享文件夹,集合到一个共享文件夹内,用户要访问这些文件夹的时候,只要打开一个文件夹,就可以的看到所有链接到此文件夹内的共享文件夹。

2、MFS原理

MFS是一个具有容错性的网络分布式文件系统,它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源。

1)MFS的组成

元数据服务器(Master):在整个体系中负责管理文件系统,维护元数据,目前不支持高可用。

元数据日志服务器(MetaLogger):备份Master服务器的变化日志文件,当master服务器损坏,可以从日志服务器中取得文件恢复。

数据存储服务器(Chunk Server):真正存储数据的服务器,服务器越多,容量就越大,可靠性越高,性能越好。

客户端(Client):可以像挂载NFS一样挂载MFS文件系统

2)MFS读数据的处理过程

n 客户端向元数据服务器发出读请求

n 元数据服务器把所需数据存放的位置(Chunk Server的IP地址和Chunk编号)告知客户端

n 客户端向已知的ChunkServer请求发送数据

n Chunk Server向客户端发送数据

3)写入的过程

n 客户端向元数据服务器发送写入请求

n 元数据服务器与ChunkServer进行交互,但元数据服务器只在某些服务器创建新的分块Chunks,创建成功后由Chunk Servers告知元数据服务器操作成功

n 元数据服务器告知客户端,可以在哪个Chunk Server的哪些Chunks写入数据

n 客户端向指定的ChunkServer写入数据

n 该Chunk Server与其他ChunkServer进行数据同步,同步成功后Chunk Server告知客户端数据写入成功

n 客户端告知元数据服务器本次写入完毕

3、配置文件(下面的只是介绍一下)

需要用到两个配置文件:mfsmaster.cfg(主配置文件)和mfsexport.cfg(被挂载目录及访问权限)

mfsmaster.cfg常用的参数如下,默认全部都是不需要修改的,全文都是以#开头,也就是说都是默认配置

[root@centos1mfs]# cd /usr/local/mfs/etc/mfs/

[root@centos1mfs]# vim mfsmaster.cfg

#WORKING_USER= mfs //运行masterserver的用户

#WORKING_GROUP = mfs //运行masterserver的组

#SYSLOG_IDENT = mfsmaster //masterserver在syslog的标示,说明是由masterserver产生的

#LOCK_MEMORY = 0 //是否执行mlockall(),以避免mfsmaster进程溢出默认为0

#NICE_LEVEL = -19 //运行的优先级,进程必须由root启动

#EXPORTS_FILENAME = /usr/local/mfs/etc/mfs/mfsexports.cfg

//被挂载目录及其权限控制文件的存放位置

#TOPOLOGY_FILENAME = /usr/local/mfs/etc/mfs/mfstopology.cfg

#DATA_PATH = /usr/local/mfs/var/mfs //数据存放路径

#BACK_LOGS = 50 //metadata改变的log文件数目(默认是50)

#BACK_META_KEEP_PREVIOUS = 1

#REPLICATIONS_DELAY_INIT = 300 //延迟复制的时间(默认300)

#REPLICATIONS_DELAY_DISCONNECT = 3600 //Chunkserver断开复制延迟(默认是3600秒)

#MATOML_LISTEN_HOST = * //metalogger监听的IP地址默认是所有地址

#MATOML_LISTEN_PORT = 9419 //metalogger监听的端口地址(默认为9419)

#MATOML_LOG_PRESERVE_SECONDS = 600

#MATOCL_LISTEN_HOST = * //用于chunkserver连接的IP地址(默认为*代表所有IP)

#MATOCL_LISTEN_PORT = 9421 //用户客户端挂在的监听端口9421

#CHUNKS_LOOP_MAX_CPS = 100000

#CHUNKS_LOOP_MIN_TIME = 300 //chunks的回环频率(默认300)

#CHUNKS_SOFT_DEL_LIMIT = 10

#CHUNKS_HARD_DEL_LIMIT = 25

#CHUNKS_WRITE_REP_LIMIT = 2 //在一个循环里复制到另外一个Chunkserver的最大Chunk数

#CHUNKS_READ_REP_LIMIT = 10 //在一个循环里从一个Chunkserver复制的的最大Chunk数

#ACCEPTABLE_DIFFERENCE = 0.1

#SESSION_SUSTAIN_TIME = 86400

# REJECT_OLD_CLIENTS= 0 //弹出低于1.6.0的客户端挂接(0或1,默认是0)

#deprecated:

#CHUNKS_DEL_LIMIT - use CHUNKS_SOFT_DEL_LIMIT instead

#LOCK_FILE - lock system has been changed, and this option is used onl

y tosearch for old lockfile

mfsexport.cfg文件参数格式如下

# Allow everythingbut "meta".

* / rw,alldirs,maproot=0

# Allow"meta".

* . rw

该文件,每一个条目分为三个部分

第一部分:客户端IP地址

第二部分:被挂载的目录

第三部分:客户端拥有的权限

地址可以指定几种表现形式

*代表所有的IP地址

n.n.n.n单个ip地址

n.n.n.n/b IP网络地址/位数掩码

n.n.n.n/m.m.m.m IP网络地址/子网掩码

f.f.f.f-t.t.t.t IP段

目录部分的标示如下

/标示MFS根

.表示MFSMETA文件系统

权限部分如下所示

ro——只读模式共享

rw——读写模式共享

alldirs——允许挂载任何指定的子目录

maproot——映射为root,还是普通用户

password——指定客户端的密码

以上就是对mfsmaster.cfg和mfsexport文件的解释。

原文发布于微信公众号 - L宝宝聊IT(gh_b0e552aa80db)

原文发表时间:2018-04-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏乐沙弥的世界

基于Windows 2012配置SQL Server 2014 AlwaysOn

1)使用与账户启动sqlserver(2节点) 确保2节点使用了域用户账号启动

652
来自专栏james大数据架构

一步到位分布式开发Zookeeper实现集群管理

  说到分布式开发Zookeeper是必须了解和掌握的,分布式消息服务kafka 、hbase 到hadoop等分布式大数据处理都会用到Zookeeper,所以...

24610
来自专栏乐沙弥的世界

Percona XtraDB Cluster网络安全配置(PXC5.7)

Percona XtraDB Cluster(下称PXC)数据库集群节点在多台机器中分布,尽管这些节点在大多数情况下,位于同一个局域网内,其安全依旧有必要重视。...

881
来自专栏加米谷大数据

技术干货 | hbase配置详解

为了能够让namespace支持使用配置属性,如:namespace下表个数(hbase.namespace.quota.maxtables)或者region个...

3855
来自专栏james大数据架构

分布式监控系统Zabbix3.2给异常添加邮件报警

  在前一篇 分布式监控系统Zabbix3.2跳坑指南 中已安装好服务端和客户端,此处客户端是被监控的服务器,可能有上百台服务器。监控的目的一个是可以查看历史状...

2099
来自专栏magicsoar

C++操作mysql方法总结(2)

C++通过ODBC和通过MFC ODBC操作mysql的两种方式 使用vs2013和64位的msql 5.6.16进行操作 ? 项目中使用的数据库名和表数据请参...

1866
来自专栏文渊之博

简述SQL2008部署多实例集群(学习)

数据库集群     集群的存在意义是为了保证高可用、数据安全、扩展性以及负载均衡。 什么是集群?      由二台或更多物理上独立的服务器共同组成的"虚拟"服...

18610
来自专栏Felix的技术分享

xlog接入方案

2753
来自专栏Danny的专栏

【MySQL集群】——在Windows环境下配置MySQL集群

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/huyuyang6688/article/...

823
来自专栏北京马哥教育

超清晰的 DNS 原理入门指南

来源:阮一峰的网络日志 作者:阮一峰 链接:http://www.ruanyifeng.com/blog/2016/06/dns.html DNS 是互联网核...

3105

扫码关注云+社区