专栏首页小狼的世界Google File System 阅读笔记

Google File System 阅读笔记

今天终于拜读了著名GFS的论文,大体上的设计思路是明白了,复杂的系统,其实用了很多简单的逻辑在里面,下面是记录的一些笔记:

设计之初(系统需求)

系统使用便宜的PC节点来实现,所以对于监控和容错要求很高。

系统主要目标为提供大于100Mb的文件服务,常见文件为Gb以上,支持小文件,但是不做优化。

系统主要有两种类型的读:持续的流读和随机的跳读。同时还包括大文件、连续文件的写入和追加。

系统必须支持多客户。例如利用生产者-消费者队列模型或者其他的方法。

网路响应时间需要快。

GFS架构

数据的主从模式

Master的任务

Chunk Size的选择(64Mb)

Metadata特点:内存存储、Chunk的位置

Operation Log:如何处理并发的日志,如何确保日志安全(本地、远端同时写入才返回成功)

垃圾回收机制

在大型分布系统中,组件的失败非常常见。所以需要一种机制,来检查或者收回那些不一致的空间。

高可用策略

1、快速恢复。不管因为什么原因导致的服务终止,在数秒钟内恢复

2、块复制。

3、Master的复制以及Shadown,确保故障时文件的可读

数据一致性,一致性的信息存储在内存中,读取文件时进行验证 

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 自定义地址栏与收藏夹中的图标

    favicon 在英文中有几个别名,叫做 shortcut icon,website icon,tab icon,URL icon,bookmark icon,...

    大江小浪
  • Fedora 12 正式发布

    Fedora 12 昨天正式发布了,而且最新的 Fedora 13 已经在平行的开发中了,感觉都快跟不上 Fedora 的脚步了。

    大江小浪
  • Pandas删除数据的几种情况

    参考资料: 1、Dropping Rows And Columns In pandas Dataframe 2、pandas过滤包含特定字符串的行 3、P...

    大江小浪
  • 观点|系统能力、数据思维可能是未来企业的核心竞争力之一

    最近和不少的朋友有一些交流,对人力分析的工作进行了很多反思。多少企业都开始重视数据分析的力量,但企业数字化转型可不是花大价钱做系统,招几个分析师就能搞定的。

    二号姬
  • 张贤伟:互联网条件下软件方法专利的直接侵权

    张贤伟  厦门大学法学院博士 一、     软件方法专利直接侵权问题   软件方法专利侵权有其特殊性,产品专利它是由部件组成的,但是方法专利是由步骤组...

    腾讯研究院
  • 应用系统之间数据传输的几种方式

    随着近年来SOA(面向服务技术架构)的兴起,越来越多的应用系统开始进行分布式的设计和部署。系统由原来单一的技术架构变成面向服务的多系统架构。原来在一个系统之间可...

    斯文的程序
  • 腾讯云怎么装W2003系统或者XP W7 系统。

    用户1485602
  • windows+nginx配置站点目录发生500的一个问题

    用phpstudy配置一个站点的时候,发现一直报错500,后来查看了下error.log.报错如下:

    仙士可
  • nginx服务器配置虚拟主机

    对于虚拟主机的配置可以在nginx.conf里面配置或者vhosts.conf下,由于vhost.conf便于管理我们在这个文件夹下进行配置虚拟主机

    十月梦想
  • ESP8266 SDK开发: 综合篇-C#上位机串口通信控制ESP8266

    https://www.cnblogs.com/yangfengwu/p/12382103.html   编写C#串口调试助手

    杨奉武

扫码关注云+社区

领取腾讯云代金券