Facebook的图片存储

为了减少对昂贵的存储解决方案(诸如NetAppAkamai,我所在的单位用了一套NetApp,性能和稳定性都不错,价格当然也不菲),Facebook在2009年4月的时候推出了一套新的,名为Haystack的图片存储系统,来一个对每个月85亿次的图片上传(每天500G)。

Jason Sobel,NetApp的前工程师主持了这次改造,基本的架构来自于2008年的 Stanford ACM presentation by Jason Sobel。新的架构让Facebook使用普通的服务器就能够支撑图片存储的需求,减少了对CDN的依赖。

Facebook有两种主要的图片存储类型,也是所有社交网站共同的特点:头像和相册。用户上传相册,以档案的形式存放,很少会删除,也不会立即读取。头像则是每个人都会拥有,并且有不同的尺寸。过去,Facebook极度依赖CDN来保护自己的服务器遭受大量的访问。

头像则使用了 Cachr ,一个使用 evhttp 和 memcached 后台的图片服务器,能够缓存那些被大量访问的图片。

不需要POSIX

Facebook的图片被世界各地的人们浏览,图片命名也包含了很多有用的信息。

/[pvid]_[key]_[magic]_[size].jpg

传统的文件系统被POSIX标准通知,每个文件都需要有元数据和进入方法。这种文件系统是为了权限管理而设计的,但是Internet中的文件系统则不需要这么多额外的信息。

  • File length
  • Device ID
  • Storage block pointers
  • File owner
  • Group owner
  • Access rights on each assignment: read, write execute
  • Change time
  • Modification time
  • Last access time
  • Reference counts

Haystack 存储10GB的数据只需要10Mb的元数据,这些原数据可以驻留在内存中,这样读取文件的时候就只需要一次磁盘寻道。Cachr仍然是第一道防线,快速的处理对于图片的请求。

参考资料:

1、Facebook’s photo storage rewrite

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯技术工程官方号的专栏

支撑起腾讯公司计费业务的TDSQL(附PPT)

作者介绍:bluesea,腾讯金融云专家工程师,从事分布式数据库TDSQL研发工作。出版著作:《数据库查询优化器的艺术 原理解析与SQL性能优化》、《数据库事...

5728
来自专栏知晓程序

只要 5 分钟,让你立刻拥有自己的小程序 | 知晓云

Hello,各位知晓程序的读者们,我是犯迷糊的小羊。目前是 ifanr 的一只前端攻城狮,同时也是知晓云团队的一员。

1883
来自专栏FreeBuf

DeathStar:一键自动化域渗透工具

Empire和BloodHound这两个Github项目极大程度地简化了针对活动目录(AD)的渗透测试过程,至少在我当前所遇到的95%的环境中是这样的。随着年月...

3007
来自专栏Web 开发

找到宝了,用launchpad来安装Ubuntu比较新的软件

上周装了一个Errorboard.js,结果ubuntu官方源的nodejs版本太久了,里面有个依赖包怎么都装不了。Google之,发现原来有个https://...

1360
来自专栏架构师之旅

《干货系列》如何修炼成为一名高级程序猿?

每个人都有大梦想,作为程序员当然是想做一个程序大牛,毕竟不想当将军的厨子不是好裁缝!那么要想成为好裁缝,不好程序员,应该需要哪些知识呢?小编搜罗了一下,还真不少...

2119
来自专栏张戈的专栏

10个超有趣的Linux命令

本文展示了 10 个有趣的 Linux 动态命令,这些命令和实用功能无关,仅供娱乐!看完此文,你会对 Linux 有个全新的认识,谁说 IT 男就没有屌丝娱乐的...

3266
来自专栏大数据钻研

成为web开发高手的学习之路是如何炼成的!

如果你已经是一名优秀的Web开发人员,那请路过即可。如果你还是一个准备入行或刚入行的菜鸟,那本文倒值得一读。要成为一名优秀的Web开发人员,没有捷径可走,...

3159
来自专栏跟着阿笨一起玩NET

使用WCF实现SOA面向服务编程—— 架构设计

SOA本身就是一种面向企业级服务的系统架构,简单来说,SOA就是一种进行系统开发的新的体系架构,在基于SOA架构的系统中,具体应用程序的功 能是由 一些松耦合并...

821
来自专栏技术沉淀

很赞的开源小工具

1342
来自专栏张戈的专栏

WordPress4.2升级修复补丁:解决大量404请求以及评论表情路径及尺寸异常问题

上一篇文章写到了 WordPress 升级 4.2 版本后部分主题出现了大量 404 请求的问题,匆忙解决也没深究原因。今天继续调试主题却发现了评论表情不显示了...

47113

扫码关注云+社区

领取腾讯云代金券