CentOS7搭建FastDFS V5.11分布式文件系统-第一篇

1.绪论

最近要用到fastDFS,所以自己研究了一下,在搭建FastDFS的过程中遇到过很多的问题,为了能帮忙到以后搭建FastDFS的同学,少走弯路,与大家分享一下。FastDFS的作者淘宝资深架构余庆,这个优秀的轻量及的分布式文件系统的开源没多久,立马就火了。由于篇幅较大,本博文共四篇,第一篇主要介绍FastDFS,下载相关软件包,为搭建做好准备。第二篇会讲到在CentOS下搭建FastDFS的详细过程。第三篇,会讲到整合nginx详细内容。第四篇主要讲FastDFS在怎么用fastdfs-client-java连接,并结合实例。

2.应用场景

FastDFS是为互联网应用量身定做的一套分布式文件存储系统,非常适合用来存储用户图片、视频、文档等文件。对于互联网应用,和其他分布式文件系统相比,优势非常明显。其中有好几家是做网盘的公司。其中存储量最大的一家,集群中存储group数有400个,存储服务器超过800台,存储容量达到6PB,文件数超过1亿,Group持续增长中。  以下是使用FastDFS的用户列表:  UC (http://www.uc.cn/,存储容量超过10TB)  支付宝(http://www.alipay.com/)  京东商城(http://www.360buy.com/)  淘淘搜(http://www.taotaosou.com/)  飞信(http://feixin.1008.cn/)  赶集网(http://www.ganji.com/)  淘米网(http://www.61.com/)  迅雷(http://www.xunlei.com/)  蚂蜂窝(http://www.mafengwo.cn/)  丫丫网(http://www.iyaya.com/)  虹网(http://3g.ahong.com)  5173(http://www.5173.com/)  华夏原创网(http://www.yuanchuang.com/)  华师京城教育云平台(http://www.hsjdy.com.cn/)  视友网(http://www.cuctv.com/)  搜道网(http://www.sodao.com/)  58同城(http://www.58.com/)  商务联盟网(http://www.biz72.com/)  中青网(http://www.youth.cn/)  缤丽网 (http://www.binliy.com/)  飞视云视频(http://www.freeovp.com/)  梦芭莎(http://www.moonbasa.com/)  活动帮(http://www.eventsboom.com)  51CTO(http://www.51cto.com/)  搜房网(http://www.soufun.com/

3.详细介绍

FastDFS是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。

FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。

存储节点存储文件,完成文件管理的所有功能:存储、同步和提供存取接口,FastDFS同时对文件的meta data进行管理。所谓文件的meta data就是文件的相关属性,以键值对(key value pair)方式表示,如:width=1024,其中的key为width,value为1024。文件meta data是文件属性列表,可以包含多个键值对。

FastDFS系统结构如下图所示: 

跟踪器和存储节点都可以由一台多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的,可以根据服务器的压力情况随时增加或减少。

为了支持大容量,存储节点(服务器)采用了分卷(或分组)的组织方式。存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷 的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起 到了冗余备份和负载均衡的作用。

在卷中增加服务器时,同步已有的文件由系统自动完成,同步完成后,系统自动将新增服务器切换到线上提供服务。

当存储空间不足或即将耗尽时,可以动态添加卷。只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量。  FastDFS中的文件标识分为两个部分:卷名和文件名,者缺一不可。

3.1 上传文件交互过程:
  1. client询问tracker上传到的storage,不需要附加参数;
  2. tracker返回一台可用的storage;
  3. client直接和storage通讯完成文件上传

3.2 下载文件交互过程:

  1. client询问tracker下载文件的storage,参数为文件标识(卷名和文件名);
  2. tracker返回一台可用的storage;
  3. client直接和storage通讯完成文件下载。

4.FastDFS搭建工具下载

作者的GitHub地址:https://github.com/happyfish100 这次搭建的所有工具,都可以在上面下载到。我搭建的是目前最新版本Version 5.11 2017-05-26。作者还有一个5.10的发行版本,你如果没有下载最近的,到时候整合nginx的时候可能会遇到:

local/fastdfs-nginx-module/src/common.c:1245: 错误:‘FDFSHTTPParams’没有名为‘support_multi_range’的成员
make[1]: *** [objs/addon/src/ngx_http_fastdfs_module.o] 错误 1
make[1]: Leaving directory `/usr/local/nginx-1.10.1'

遇到这个错误的原因是,在fastdfs-nginx-module的HISTORY中你可以到:

整合的时候,fastdfs-nginx-module中的support_multi_range在Version 5.10中找不到。

Version 5.11对应的fastdfs-nginx-module的Version 1.20  Version 5.10对应的fastdfs-nginx-module的Version 1.19

之所以在安装前写了这么一段话,是因为这个很重要,版本不对应会给接下来的安装带来各种问题。

把源码下载下来3个zip包,再去下个nginx:

 点这里看第二篇

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏FreeBuf

NSA Fuzzbunch中EternalRomance工具复现过程

自Shadow Brokers公布NSA泄露工具后,各路大神陆陆续续发表复现过程,这几天也仔细试了各种套路,一直想弄明白DoublePulsar中的shellc...

2317
来自专栏IT笔记

记一次JavaWeb网站技术架构总结

题记 工作也有几多年了,无论是身边遇到的还是耳间闻到的,多多少少也积攒了自己的一些经验和思考,当然,博主并没有太多接触高大上的分布式架构实践,相对比较零碎,随时...

43611
来自专栏黑白安全

iOS安全基础之钥匙串与哈希

本文最初是由Chris Lowe编写的,后来经过Ryan Ackermann(ios系统开发者)的修改,已经可以针对最新的Xcode 9.2,Swift 4,i...

962
来自专栏Debian社区

Wine 3.0发布:支持Android图形驱动、Direct3D 11、AES加密

2018 年伊始,Wine(Wine Is Not an Emulator) 项目发布了年度更新,释出了最新的 3.0 稳定版本。 Wine 是一个在 Linu...

1464
来自专栏SAP最佳业务实践

SAP最佳业务实践:FI–资产会计(162)-19定期处理-AFAB折旧过帐运行

4.7.3 AFAB折旧过帐运行 起初过帐至固定资产会更改资产会计中的计划折旧。然而,资产负债表和损益表的累计折旧科目和折旧科目并不会立即更新。直到执行定期折...

3597
来自专栏Java技术分享圈

杨老师课堂之JavaWeb网站技术架构总结

有很多学生及一线的开发人员经常会问我到底是什么技术架构,是不是就是目前在学校的SSH、SSM技术,为了让更多的同行对架构这个词汇有更深刻的理解,我分享一下自己的...

1394
来自专栏Android机动车

阿里发布的规约插件使用指南

10月14日,阿里巴巴在杭州云栖大会上,正式发布了由阿里巴巴 P3C 项目组,经过 247 天的持续研发,正式发布众所期待的 《阿里巴巴 Java 开发规约》的...

621
来自专栏程序你好

微服务和传统中间件平台

微服务与部署在中间件平台(esb、应用服务器)上的传统服务有何不同?什么是微服务体系结构模式,它解决了什么问题?本文将讨论所有这些重要的主题,并描述如何管理、管...

992
来自专栏北京马哥教育

深入浅出分布式文件系统MogileFS集群

一、简介 MogileFS是一款开源的分布式文件存储系统,由LiveJournal旗下的Danga Interactive公司开发。 Danga团队开发了包括...

3936
来自专栏杨建荣的学习笔记

了解一下CPU 第一篇(r4笔记第30天)

CPU可能对于我们来说是熟悉又陌生的,每天的工作基本都离不开CPU,CPU的消耗是系统负载的一个重要指标,每天都会不定时的来看看CPU的使用情况,但是对于它了解...

3384

扫码关注云+社区