深入浅出分布式文件系统MogileFS集群

一、简介

MogileFS是一款开源的分布式文件存储系统，由LiveJournal旗下的Danga Interactive公司开发。

Danga团队开发了包括 Memcached、MogileFS、Perlbal 等多个知名的开源项目。目前MogileFS的日益成熟使用此解决方法的公司越来越多，例如日本的又拍、digg、中国的豆瓣、1号店、大众点评、搜狗和安居客等，分别为所在的组织或公司管理着海量的图片。

和传统网络存储不一样的是分布式文件系统是将数据分散存储至多台服务器上，而网络文件系统往往是将所有的数据存放在一起，存储服务器将成为系统可用性的瓶颈，不能满足大规模的存放所有数据需求。分布式文件系统采用可扩展的系统结构，利用多台存储设备分别存储，分担服务器负荷，利用位置服务器定位存储信息，因此不仅能够提升系统性能同时还易于扩展。

二、实现组件

MogileFS主要有三个部分组成：

①server端，包括两个部分，mogilefsd和mogstored两个应用程序，tracker是mogilefsd的实现方式，它通过数据库来保证元数据信息，比如站点的domian、class、host等，mogstored则为存储节点，默认监听7500端口，接受客服端的文件存储请求，在MogileFS安装完后，要运行mogadm工具将所有的store node注册到mogilefsd的数据库里，mogilefsd会对这些节点进行管理和监控。

②utils工具集，主要是MogileFS的一些管理工具如mogadm等。

③客服端API，MogileFS的API接口很多，常用的的时间方式有php,perl,python,java等，使用这些语言可进行编写客服端程序，实现文件的备份管理功能。

三、MogileFS的特性及原理

MogileFS特性：

1.应用层服务，不需要使用和兴组件

2.无单点故障，tracker为跟踪点，mogstored为存储节点，mysql为储存元数据节点，建议使用MySQL做高可用

3.传输中立，无特殊协议，可用通过nfs和http实现通信

4.简单的命名空间，没有目录，直接存储在存储空间上，通过域来实现，不共享任何数据

MogileFS工作原理：

MogileFS主要由mogilefsd和mogstored两应用程序提供服务，tracker节点借助数据库保存各个节点文件的元数据信息，保存每个域中所哟的存储位置分布，用于实现快速定位同时监控各个节点，通知客户端存储区域位置并指挥storaged节点复制数据副本，进程名为mogilefsd监听与7001端口。

storage节点为实际存放文件的地方，存储节点可以是http服务器，及其其他web服务，storage节点可自动维护键值的对应关系，storage节点前端可使用nginx进行反代，此时需要nginx-mogilefs-module-master模块，此服务监听与7501端口，进程名为mogstored.一个域中的键值是唯一的，一个mogilefs可以有多个域，域可以有多个存储设备，每个设备都有数据的容器，称之为domain.每个存储节点为一个主机（host），一个主机上可以有多个存储设备，每个设备有id号，用来定位。复制的最小单元为class,文件属性管理，定义文件存储在不同的设备上的份数。

四、MogileFS安装及其配置实现

安装说明：此实验可以仅适用两台服务进行，一台服务即当做server端，又当做存储节点同时还是mysql服务器，在每台服务器上部署tracker管理并监控节点。

创建数据库及授权修改相应的配置文件

实验结果图示：

五、实战nginx前端反代mogfilefs及负载均衡

要求说明：在前期那配置nginx做反代将用户的请求调度至后端的MogileFS，此实验依赖于nginx-mogilefs-module模块，需在编译时加上此模块。

图示：此时可通过http://uri/images/aqua.jpg进行访问，而不是原来很长的路径名进行访问。

总结：在大型站点中，mogilefs的重要性不言而喻，尤其是图片存储量很大的网站例如：某宝，某东等，此配置过程中，mysql易于成为单点故障，所以可将其做主从复制，同时结合MySQL半同步复制，可降低数据的丢失风险。在配置nginx做反向代理时，大部分步骤和其他反代类是不同的是，需将模块编译进nginx中才能使用此模块功能。

作者：小耳朵

来源：http://purify.blog.51cto.com/10572011/1878002