图片文件分布式存储解决方案

一、 背景

ShareSDK每天都上传大量的图片,原有的图片存储采用NFS挂载磁盘的形式。这种方式的缺点很明显:(1)不便于管理.(2)当挂载的磁盘过多时,也会有很大的性能问题。随着图片数量越来越大,急需一种分布式图片存储方案,替代当前的存储方案。调研了图片存储的需求之后,得出以下结论:

(1)图片需要以posix标准存储,便于后期维护和图片处理。

(2)磁盘能够动态增加。

(3)不需要备份和冗余。

(4)存储服务必须有负载均衡。

二、方案调研

基于以上需求,开始调研市面上流行的文件存储解决方案。

1,FastDFS

FastDFS是一个高性能的轻量级开源文件分布式存储系统,主要C语言完成,并提供Java api。主要功能包括:文件存储,文件同步,负载均衡。主要组件:

(1)Track Server:主要负责存储协调和负载均衡作用,管理所有的Storage Server。

(2)Storage Server:存储服务,提供文件存储和备份。以group为单位,每个group可以有多个Storage Server,相同group内数据,互为备份。

(3)Client:客户端,首先请求Track Server,获取要操作的Storage Server,最后操作Storage Server。

架构图:

2,TFS

TFS是淘宝针对海量非结构化数据存储设计的分布式系统,构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。高可扩展、高可用、高性能、面向互联网服务。这是TFS官网的介绍。适用场景为海量小文件存储。为了减少文件句柄压力,TFS会把多个文件存储为一个大文件(Block)。每个Block在集群内有唯一编号,这个编号由nameserver分配,而DataServer实际存储Block。一个TFS集群有两个NameServer和多个DataServer组成。

架构图:

通过调研以上两种分布式文件存储系统,都很难满足ShareSDK的需求。因此决定开发MobDFS系统。

三、 MobDFS介绍

MobDFS参考FastDFS的架构,主要组件为NameServer和DataServer,实现了文件的posix标准存储,充分利用nginx的特性,实现文件高速下载。架构图如下:

MobDFS根据group进行文件负载均衡,每个DataServer对应一个group,配置信息保存在zookeeper中。DataServer上线和下线时,自动通知NameServer并同步zookeeper配置。

文件上传时首先请求NameServer,NameServer根据每个DataServer的磁盘使用情况进行负载均衡,给客户端返回要上传到的具体group。客户端再次请求Router,并同时上传文件。Router根据group,反向代理请求到具体的DataServer服务,对应的DataServer处理具体的上传请求。时序图如下:

文件下载时请求到Router,Router根据group反向代理请求到具体的DataServer服务,DataServer上面的nginx根据group映射到磁盘具体路径,文件下载完成。时序图如下:

文件的灾备使用raid5方式备份,当需要更换机器时,只需要更新zookeeper中的配置文件和对应的nginx配置即可。

四、总结

MobDFS使用group组对文件负载均衡,文件直接上传到具体的DataServer,减少了入口的压力,同时也减少不必要的文件传输同步,能够极大的节省带宽压力。文件下载时,利用nginx直接访问磁盘,能够极大的提高文件下载速度。

文 / Mob 温东征

ShareSDK 轻松实现社会化功能,以其强大的 App 社交分享功能深受开发者熟知和好评;

SMSSDK 可快速集成短信验证功能,帮助开发者打通手机通讯录好友的社交圈;

MobLink 打破了 App 孤岛,实现了 Web 与 App 的无缝链接,新用户在首次打开 App 时,大大提高用户转化率;

Mob统计分析 用数据驱动产品,精准化行为分析 + 多维数据模型 + 匹配全网标签 + 垂直行业分析顾问;

MobPush 快速集成推送服务,应对多样化推送场景;

BBSSDK 是 Discuz 论坛移动化解决方案,同步 Discuz 论坛数据实现论坛移动化;

ShareREC 手游录像分享则是 ShareSDK 图文分享的延伸,可为手游实现边玩边录的功能,以此提升玩家黏度并有效促进推广;

MobAPI 为开发者提供各种所需的原始数据及稳定的 API SERVICE,也免去了自己收集数据的繁琐步骤;

MobPay 多种主流支付渠道可一键接入,满足企业多样化需求;

ShopSDK 2小时快速搭建您的商城系统,商品管理 - 订单交易 - 售后退款 - 整套解决方案,丰富您APP的应用场景;

MobIM 为开发者提供即时通讯的消息通道服务,专注于保障通讯的安全稳定可靠,支持开发者使用App的自有用户系统,或第三方用户系统;

App工厂 全新App制作解决方案 ,可组合几十种不同种类的App满足电商、生活服务、教育、资讯、社交等多个行业的需求;

截止 2017 年 12 月,Mob 开发者服务平台全球设备覆盖超过 76 亿,SDK下载量超过 318万次,服务超过 36 万款移动应用。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180514A0IYMO00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券