CentOS7搭建FastDFS V5.11分布式文件系统-第一篇

1.绪论

最近要用到fastDFS,所以自己研究了一下,在搭建FastDFS的过程中遇到过很多的问题,为了能帮忙到以后搭建FastDFS的同学,少走弯路,与大家分享一下。FastDFS的作者淘宝资深架构余庆,这个优秀的轻量及的分布式文件系统的开源没多久,立马就火了。由于篇幅较大,本博文共四篇,第一篇主要介绍FastDFS,下载相关软件包,为搭建做好准备。第二篇会讲到在CentOS下搭建FastDFS的详细过程。第三篇,会讲到整合nginx详细内容。第四篇主要讲FastDFS在怎么用fastdfs-client-java连接,并结合实例。

2.应用场景

FastDFS是为互联网应用量身定做的一套分布式文件存储系统,非常适合用来存储用户图片、视频、文档等文件。对于互联网应用,和其他分布式文件系统相比,优势非常明显。其中有好几家是做网盘的公司。其中存储量最大的一家,集群中存储group数有400个,存储服务器超过800台,存储容量达到6PB,文件数超过1亿,Group持续增长中。  以下是使用FastDFS的用户列表:  UC (http://www.uc.cn/,存储容量超过10TB)  支付宝(http://www.alipay.com/)  京东商城(http://www.360buy.com/)  淘淘搜(http://www.taotaosou.com/)  飞信(http://feixin.1008.cn/)  赶集网(http://www.ganji.com/)  淘米网(http://www.61.com/)  迅雷(http://www.xunlei.com/)  蚂蜂窝(http://www.mafengwo.cn/)  丫丫网(http://www.iyaya.com/)  虹网(http://3g.ahong.com)  5173(http://www.5173.com/)  华夏原创网(http://www.yuanchuang.com/)  华师京城教育云平台(http://www.hsjdy.com.cn/)  视友网(http://www.cuctv.com/)  搜道网(http://www.sodao.com/)  58同城(http://www.58.com/)  商务联盟网(http://www.biz72.com/)  中青网(http://www.youth.cn/)  缤丽网 (http://www.binliy.com/)  飞视云视频(http://www.freeovp.com/)  梦芭莎(http://www.moonbasa.com/)  活动帮(http://www.eventsboom.com)  51CTO(http://www.51cto.com/)  搜房网(http://www.soufun.com/

3.详细介绍

FastDFS是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。

FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。

存储节点存储文件,完成文件管理的所有功能:存储、同步和提供存取接口,FastDFS同时对文件的meta data进行管理。所谓文件的meta data就是文件的相关属性,以键值对(key value pair)方式表示,如:width=1024,其中的key为width,value为1024。文件meta data是文件属性列表,可以包含多个键值对。

FastDFS系统结构如下图所示: 

跟踪器和存储节点都可以由一台多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的,可以根据服务器的压力情况随时增加或减少。

为了支持大容量,存储节点(服务器)采用了分卷(或分组)的组织方式。存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷 的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起 到了冗余备份和负载均衡的作用。

在卷中增加服务器时,同步已有的文件由系统自动完成,同步完成后,系统自动将新增服务器切换到线上提供服务。

当存储空间不足或即将耗尽时,可以动态添加卷。只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量。  FastDFS中的文件标识分为两个部分:卷名和文件名,者缺一不可。

3.1 上传文件交互过程:
  1. client询问tracker上传到的storage,不需要附加参数;
  2. tracker返回一台可用的storage;
  3. client直接和storage通讯完成文件上传

3.2 下载文件交互过程:

  1. client询问tracker下载文件的storage,参数为文件标识(卷名和文件名);
  2. tracker返回一台可用的storage;
  3. client直接和storage通讯完成文件下载。

4.FastDFS搭建工具下载

作者的GitHub地址:https://github.com/happyfish100 这次搭建的所有工具,都可以在上面下载到。我搭建的是目前最新版本Version 5.11 2017-05-26。作者还有一个5.10的发行版本,你如果没有下载最近的,到时候整合nginx的时候可能会遇到:

local/fastdfs-nginx-module/src/common.c:1245: 错误:‘FDFSHTTPParams’没有名为‘support_multi_range’的成员
make[1]: *** [objs/addon/src/ngx_http_fastdfs_module.o] 错误 1
make[1]: Leaving directory `/usr/local/nginx-1.10.1'

遇到这个错误的原因是,在fastdfs-nginx-module的HISTORY中你可以到:

整合的时候,fastdfs-nginx-module中的support_multi_range在Version 5.10中找不到。

Version 5.11对应的fastdfs-nginx-module的Version 1.20  Version 5.10对应的fastdfs-nginx-module的Version 1.19

之所以在安装前写了这么一段话,是因为这个很重要,版本不对应会给接下来的安装带来各种问题。

把源码下载下来3个zip包,再去下个nginx:

 点这里看第二篇

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏WeTest质量开放平台团队的专栏

Android外部存储

外部存储作为开发中经常接触的一个重要系统组成,在Android历代版本中,有过许许多多重要的变更。我也曾疑惑过,为什么一个简简单单外部存储,会存在存在这么多奇奇...

903
来自专栏杨建荣的学习笔记

一则数据库无法重启的案例分析(r8笔记第96天)

今天一个开发的同事找到我,说有个问题想咨询一下我,突然想起他昨天让我帮他处理一个工单,他这么一问我才想起来还没做,结果他说是另外一件事,说有个开 发测试的环境,...

3396
来自专栏逆向技术

逆向知识之CS辅助/外挂专题.2.实现CS1.6无限夜视仪.无限闪光烟雾高爆弹.

关于搜索0或者1我们也不知道哪个是打开或者关闭. PS: 因为我找过了.确定了1是打开夜视仪.

1023
来自专栏友弟技术工作室

云原生概念

5424
来自专栏大魏分享(微信公众号:david-share)

Ansible Tower的容量规划与高可用设计

1333
来自专栏携程技术中心

干货 | Tomcat类加载机制触发的Too many open files问题分析

作者简介 宋顺,携程框架研发部技术专家。2016年初加入携程,主要负责中间件产品的相关研发工作。毕业于复旦大学软件工程系,曾就职于大众点评,担任后台系统技术负责...

2716
来自专栏Java架构师历程

zookeeper在Dubbo中扮演了一个什么角色,起到了什么作用

流程: 1.服务提供者启动时向/dubbo/com.foo.BarService/providers目录下写入URL 2.服务消费者启动时订阅/dubb...

1133
来自专栏数据库

游戏用户中心开发

用户中心最主要的功能就是管理用户的注册和登陆,登陆成功之后生成对应的token,并负责token的验证。当一个用户注册或登陆成功之后,它的信息会在用户中心服务中...

1908
来自专栏刘明的小酒馆

使用Docker三剑客部署集群

DOCKER技术在推出后掀起了一阵容器化技术的热潮,容器化使得服务的部署变得极其简易,这为微服务和分布式计算提供了很大的便利。

5756
来自专栏电光石火

FastDFS V5.12分布式文件系统介绍

最近要用到fastDFS,所以自己研究了一下,在搭建FastDFS的过程中遇到过很多的问题,为了能帮忙到以后搭建FastDFS的同学,少走弯路,与大家分享一...

842

扫码关注云+社区