专栏首页cloudskyme云计算读书笔记(二)

云计算读书笔记(二)

云计算原理与应用

云计算服务包括:google文件系统GFS,分布式计算编程模形MapReduce,分布式锁服务Chubby,分布式结构化数据表Bigtable,分布式存储系统Megastore以及分布式监控系统Dapper等。

GFS提供了海量数据的存储和访问能力。

GFS

系统架构:

分为三类角色,client(客户端),Master(主服务器)和Chunk Server(数据块服务器)

1,使用的是中心服务器模块,可以任意添加chunk server.

2,不实现缓存,这是从必要性和可行性两方面考虑。

必要性:客户端大部分是流式读写,不存在大量的重复读写。

可行性:如何维护缓存与实际数据之间一致性是一个极其复杂的问题。加之网络等不确定因素,一致性问题尤为复杂。而且数据量非常大,以当前的内存容量根本无法缓存。

而对于存储在GFS的Master中的数据实现了缓存。

3,在用户状态下实现,正常的文件系统是操作系统的重要组成部分,在内核态实现文件系统可以更好的和操作系统本身结合。

但GFS却选择在用户态下实现,主要基于以下考虑:

1)在用户态下直接利用操作系统提供的POSIX编程接口就可以扩展存取数据,无需了解内部的实现接口。

2)POSIX接口提供的功能更为丰富不受内核编程的限制

3)在用户态下有多种调试工具

4)用户态下,Master和Chunk Server都以进程的方式运行,单个进程不会影响整个操作系统

5)在用户态下,GFS和操作系统运行在不同的空间,两者的耦合性降低,方便GFS自身的扩展和升级

4,只提供专有的接口

容错机制:

1,Master容错

1)命名空间也就是整个文件系统的目录结构

2)Chunk与文件名的映射表

3)Chunk副本的位置信息,每一个Chunk默认有三个副本

2,Chunk Server容错

GFS采用副本的方式实现Chunk Server的容错,默认每个副本存储3个

GFS划分的每一个Chunk的默认大小是64MB

系统管理技术:

1)大规模的集群安装

2)故障检测

3)节点动态加入

4)节能

分存式数据处理MapReduce

MapReduce就是“映射”和“化简”的概念和主要思想。

比如查询一个大型文本中各个单词出现的次数,经过Map处理后,形成一批中间结果<单词,出现次数>,而Reduce函数处理中间结果,将相同单词出现的次数累加,得到每个单词出现的次数。

分存式锁服务

Chubby是Google设计的提供粗粒度服务的一个文件系统,它是基于松耦合的分布式系统。

通过使用Chubby的锁服务,用户可以确保数据操作过程中的一致性。

1,Paxos算法

paxos是一种基于消息传送的一致性算法,用于解决分布式中的一致性问题

如何解决分布式中的一致性问题呢,最简单的就是设置一个结点,所有操作都经过这个结点,这样就能保证唯一性的问题。

但是这样缺点也是显而易见的,就是如果结点失效就会出现混乱,所以需要在系统中设置多个这样的结点。

Paxos算法分成三个类型:proposers、acceptors和learners,其中Proposers提出决议,acceptors批准决议,learners获取并使用已经通过的决议。

2,Chubby系统设计

Chubby的设计目标主要有以下几个:

1)高可用性和高可靠性

2)高扩展性

3)支持粗粒度的建议性锁服务

4)服务信息的直接存储

5)支持通报机制

6)支持缓存机制

分存式结构化数据表Bigtable

Bigtable是Google基于GFS和Chubby的分布式存储系统。

Bigtable在很多方面跟数据库类似。

数据模型:

Bigtable是一个分布式的多维映射表,表中数据通过一个行关键字,一个列关键字以及一个时间戳进行索引。Bigtable对存储在其中的数据不做任何解析,一律看成是字符串。

1)行

可以是任意的字符串,但是大小不能超过64K,排序是根据行关键字进行排序的,推荐使用的是字典序

2)列

有列族的概念,族名:限定词(family:qualifier),族名必须有意义,限定词可以任意选定,同族被压缩存储在一起

族同时也是Bigtable中访问控制的基本单元,也就是说访问权限是在族这一级别上进行的

3)时间戳

默认是64位整数

目前提供两种设置,一种是保留最近N个不同的版本,另一种就是保留限定时间内的所有不同版本

系统架构:

Bigtable主要由三部分组成:客户端程序库(Client Library)、一个主服务器(Master Server)和多个子表服务器(Table Server)

客户端访问Bigtable服务时,首先利用函数库执行open操作打开一个锁,锁打开后客户端就可以跟子表服务器进行通信了。

主服务器的作用:

1)新子表分配

2)子表服务器状态监控

3)子服务器之间的负载均衡

子表服务器:

1)SSTable中的数据被划分成一个个的块(Block),每个块的大小是可以设置的,一般为64KB,在SSTable的结尾有一个索引(Index),在SSTable打开时这个索引会被加载进内存,所以查找的速度会非常快。

每个子表都是由多个SSTable和日志组成

2)子表地址,在Bigtable系统的内部采用的是一种类似B+树的三层查询体系

先查根子表,然后找到元数据子表,最后找到对应的用户表

3)子表的数据存储及读写操作

性能优化

1)局部性群组

2)压缩

3)布隆过滤器

分存式存储系统Megastore

Megastore:关系型数据库和NoSQL的完美结合

设计目标:

1)针对可用性:引入了Paxos算法

2)针对扩展性:采用数据分区将每个分区存放在NoSQL中

megastore的数据模型

通过类似SQL的方式进行查询,有一套对应的查询语言。

Megastore的核心技术-复制

1)复制的日志

2)数据读取 (1)本地查询 (2)发现位置 (3)追赶 (4)验证 (5)查询数据

3)数据写入 (1)接受leader (2)准备 (3)接受 (4)失效 (5)生效

分存式系统的监控基础框架Dapper

分布式监控系统

基本设计目标:

1)低开销

2)对应用层透明

3)可扩展性

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 一起玩转微服务(4)——如何实施微服务

    微服务是一种架构的理念,提出了微服务的设计原则,从理论为具体的技术落地提供了指导思想。 实施微服务需要具备以下条件:

    cloudskyme
  • Hadoop使用(二)

    前提和设计目标 硬件错误 硬件错误是常态而不是异常。HDFS可能由成百上千的服务器所构成,每个服务器上存储着文件系统的部分数据。我们面对的现实是构成系统的组件...

    cloudskyme
  • springframework maven地址

    http://blog.springsource.com/2009/12/02/obtaining-spring-3-artifacts-with-maven/...

    cloudskyme
  • 美国起诉朝鲜男子发起索尼网络攻击和 WannaCry 勒索软件攻击

    据外媒报道,美国司法部日前对朝鲜一名人员发起诉讼,指控其涉嫌参与了2014年索尼影业的黑客攻击以及2017年具有毁灭性的WannaCry勒索软件攻击。早在201...

    周俊辉
  • 特斯拉Model S撞墙起火后电池两度起火,导致两死一伤惨剧 | 热点

    事故发生后,特斯拉发布了一项新功能,限制了特斯拉汽车的加速,并将车辆最高时速限制在每小时90英里之内。

    镁客网
  • 文件操作——写入

    前面我们说到了文件的读取,读取的文件是我们手动创建的txt文本文档,VBA也是可以对文件进行写操作的。

    xyj
  • 【回溯算法】N叉树相关技巧

    二叉树是一棵以根节点开始,每个节点含有不超过 2 个子节点的树。让我们将这个定义扩展到 N 叉树 。 一棵以根节点开始,每个节点不超过 N 个子节点的树,称为 ...

    看、未来
  • imglab | 基于网页的图像标注工具

    imglab是一种基于Web的工具,用于标记可用于训练dlib或其他对象检测器的对象的图像。

    昱良
  • DeepMind 创始人 Cell 评论:通用人工智需要怎样的学习系统?

    【新智元导读】谷歌 DeepMind 创始人 Demis Hassabis 等人近日在细胞出版社期刊发表评论,拓展辅助学习系统(CLS)理论,为研究通用人工智能...

    新智元
  • 当端口被占用如何kill占用端口的进程

    kill pid杀死进程(不到万不得已不要这样做)这里的pid指进程的pid号,例如上文的3675

    承苏凯

扫码关注云+社区

领取腾讯云代金券