00:00
大家好,欢迎大家继续收看上硅谷的云计算课程,我是沈超老师,我是汪洋老师,那这节课呢,我们来看看集群的分类啊,嗯,好,那上节课呢,我们其实已经看到了什么叫集群,那给大家问一个问题,小问题,那如果我现在想问你,你给我解释一下什么叫集群,你应该怎么说呢?啊,我们圈好像说一下集群的这个概念是吧?对,那其实呢,其实给大家一个比较贴近的一个例子或者是说法,那集群就是一组协同工作的服务器,协同工作很重要,各有分工,而不是都干同一件事情,对吧,没错啊那。协同工作的服务器呢,组成一个整体,对外表现为一是也是一个整体,大家看以为是一台服务器,对,比如我问你,我说诶百度它背后服务器有多少台啊,比如说你百度工程师他都不一定知道各有分工对吧?好,那知道集群以后呢,我们还需要去了解一下集群的分类,比如我们现在很多生活中的场景,对吧?那比如我们的动物啊植物,这也是一种分类,哪怕动物是不是还有不同的属科分类,对吧?那肯定好,那我们其实可以与我们的人类去区分啊,那比如这是一种我们比较常见的区分方式,嗯,那超哥喜欢哪一张,反正我不喜欢黑的好吧?那对于种族分类来说,我们可以分为大致分为这么几类,白种人,华种,就我没有主族歧视啊,不要说这个,我靠,有哪只是个人个人个人个人喜好,对啊,白种人。
01:41
黄种人以及黑种人,还有棕种,这还有棕色人种啊,我们四种人种,那可能我还是这方面的知识了解的比较少,那还需要继续跟超哥学习这方面的知识,对,好,那不管大家喜欢哪一张图,我想表达的是各有分类,哎,对于集群来说也是一样,人有分类,对这个集群或者服务器它也是有分类的,大家千万别以为啪只那集群,这也是集群,这也是群,你们说的都没有错,但是不贴近它是什么集群,对,嗯,好,那这张图呢,可能只是给大家简单的讲一下,是分类关系而已,那下一张图我们来看一下,好,这才是我们三种不同的集群真正的分类,那我们常见的这种集群,咱们能用到的常见集群其实就是这三种,那主要其实用到了,其实是之前的两种,前面这个这个拉这个车的这个哥们一张图,哎,拉车的这个呢,其实是我们最常见。
02:42
的这种外部集群,也就是网站集群,叫做负载均衡信集群,所谓的负载均衡信,其实就说有人负责指挥啊,在车里面坐的是负责指挥了,然后呢,有人负责干活,你们一个人可能干不了这个活,拉一个车,一个人拉不动的,那怎么办?就多找几个人,我一个班,我十个人同时来了,大家干这个,同时负责你的访问量,同时有人访问你的服务器,负担不了了,我十台服器同时负担,然后有一台负责指挥的,你第一个访问量来了,分给谁来处理,第二个来了分给谁来处理,这就是负载均衡集群的这个基本的这样一个概念,对,那负载均衡集群呢,在我们整个的呃集群生涯中都非常重要,非常常见,对,当然了,负载均衡集群也不仅仅只用web服务器,对吧,外部是最常见,那一般来说像我们基于TCP的udp的这种BS或CS结果。
03:42
基本上都能采用到我们的负载均衡集群,BS是浏览器加服务器,CS是客户端或者服务器这两种结构啊好,那这是我们的第一种至关重要的祭品,嗯,那我们还有第二种,看这张图,嗯,那大家不知道有没有看过这张电影没有没有没有什么好那这里呢,是黑暗大法师有这么几个封印结果,那他们呢,可以合并召唤出黑暗大法师,那我想表达的含义是什么呢?假设,假设我们都知道这里有攻击力,对吧?那它的攻击力可能每一个每一个组件可能都是1000啊,它每个组件攻击一个2000的肯定攻击不了对吧?那当这五张牌组合在一起的时候,它的攻击力就已经变成了无限大啊,也就意味着我想表达的是什么?那可能传统我有一台小服务器,嗯,我去运行一个比较庞大的项目,嗯,那它耗费的资源,哎,可能不够啊。
04:41
占比不了,解决不了这个问题,那你说那简单,我再来五台服务器,嗯,其实没有没有意义,你觉得呢?嗯,比如我们现在想去,呃,其实我一个科研项目不最常见的就是什么,其实就是比如说人类的DNA库,当然啊,像人类DNA库这么重要的这种,这种科研结构肯定是有国家支持的,待会我们就假设吧,有这样一个东西,单端服务器算,可能需要算几百年,等你把这个东西算明白,这个人类,这个你最少这一拨人,甚至后几拨人都有,几拨人都不一定还存在了,那可能太慢了,那这个时候怎么办啊,我们觉得这个你绝大多数的这个工程师,你的电脑,你自己的电脑,其实在你绝大多数的情况下都是空闲的,比如说你们现在在看我们讲课,虽然它在播,其实你的电脑CPU消耗了资源很少,那这时候百分之几,哎,对,那这个时候我们就可以考虑什么是这样,能不能这样,我把这个运算的这个庞大的。
05:41
功能这个运算我自己算不了了,我分给大家来运算,然后呢,如果你们愿意帮我,我给你给提供点小的什么奖励啊,这个虚拟的奖励啊,其实比特币最早,其实它最早出现,当然现在主要是分布式账本这种这种功能啊,那最早出现其实就是这个他你我想算个东西,算他有2700多万个这个结果吧,两二多少次方,2000多万个结果,然后呢,我算不出来,我就让你们来帮我算,算完之后我帮你给你一个这个虚拟货币,比特币,谁也没想到他能值钱,都是炒作了,当然最近这一两年跌的稀里哗啦啊,那当然其实大家不要理解为就是它非常高端啊,或者是非常难,其实这个项目在我们1980年左右就已经有大型项目存在了,叫city at home,嗯,那这个项目大家可以百度去索引一下,嗯,这个后这个项目呢,呃,怎么说呢,在原来的话,可能大家更倾向于它是一个邪教组织,为什么这样理解呢?就是我们都知道。
06:41
每个天文所都会有大型的射电望远镜,对吧?它会收集太空中的一些呃,电信号,那它都会转储到它的存储里,但这里我们能不能分析出来跟外星文明相关的一些数据呢?我们需要进行庞大的计算,对,但当时是没有这种计算量的服务器存在的,所以都闲置了,没错。
07:05
那我们就可以采用这种CD home这个项目就是采用我加入他的组织以后,拿你的运算提供给他,他给你提供点小的奖励,或者说到时候算完之后我感谢一下你,感谢的结果就是你是我们的一员,对那感谢你为其中做出贡献,对,那当然。有利的一点,或者是可能我理解为有利点,就就是到今天为止没有发现除了我们地球以外的任何呃,有生命的文明存在啊,好,这个东西啊,其实就是高可用,这是这个科学计算性集群啊,这个是高性能科学计算型集群,对这种集群呢,一般对我们的这个工作其实来说相关不大,我们主要学习的还是前两种,这个负载均衡性和高可用集群,而这种高性能科学计算型集群呢,我们了解一下就行。第三个我们一般用在一些,比如嗯,跟大家比较贴近的可能就是天气计算了啊,对吧,当然那个他们也都有超级计算机的啊,对对,现在啊,好,那当然我们刚才还是通过一些比较常见的一些图片,或者是我认为比较常见的目点吧,去说明我们的整个集群,那么接下来呢,我们去看一些比较比较,呃,相应一点的,相对来说贴近我们实际工作阅多那这个。
08:26
就是拓扑图了,所谓的拓扑图呢,就是我们的这种服务器连线,实际连线的这种示意图了,那我们可以看到第一个就是典型的负载均衡服务器,然后呢,通过这个。通过这个这个通过网络访问之后呢,通过我们的负载均衡服务器,然后进行分发,通过它来进行分发,那把我们的访问量呢,可以平摊到我们的后台这些这个实际的运算服务器上啊,通过这个负载均衡的家伙,通过这台服务器平摊到后期后台,其实超哥一直说啊,你可以把它想象成什么,想象成怡红院,一开始的时候你只有一个这个,这叫什么,我一直说啊,叫这个公关,或者是叫这个这个这个叫头牌,因为访问量小嘛,对吧,它只有一台实际一台服务器,但随着这个知名度增加,它一台服务器负担不了,这个时候呢,我可能就需要什么,有更多的头牌和公关来负责您的访问,这个时候得有人是不是来负责管理他,对吧,要不然这俩这几个这几个头盘是不是就打起来了,对吧,那谁来谁来管理呢。
09:32
谁呀?呃,阿摩或者叫鸡头是吧,我靠,这猪,你这个装装老鸨应该是老鸨,由劳保来负责管理,那劳保就是我们这台负载均衡性集群的核心,也就是我们负载均衡性服务器,那负载均衡性服务器呢,有很多组成方法,它也可能有我们软件模拟呢,就是用普通服务器在上面装这个最常见的叫LVS这样一个载均衡性软件,对Linux v so啊,由他来负责我们的负载均衡性的这个分发啊,有软件模拟也行,好说,成本低,它不需要购买昂贵的这个硬件服务器,用普通电脑就行,然后呢,用它来模拟,缺点呢,肯定性能比这个真实的硬件负载均衡设备呢,肯定要差一点,稍微差,哎,但是呢,LS的性能其实运算方法还是极其优秀,你的性能其实跟软件模拟的这个。
10:33
有提高,但是并不是说有质的提升,所以反而我们这种软件的这种模拟的负载均衡,像LVS的这个反而是我们更常见的,那当然我们在课程里学了肯定就是什么LS啊,这个我们之前的Ning都可以做,都可以做LS更著名一点啊,好好,那下这就是我们第一个机群啊,简称为LVSLBC啊,负载均衡集群,负载均衡性集群啊对,那下一个呢,我们看下一个叫hac,也就是我们的高可用集群,高可用,那在这里呢,会有一张架构图给简单大家说明一下,我们会看到这里有阿帕奇服务器,这个应该都不陌生了,对吧?好两台阿帕奇服务器,结果前面呢,会有个叫must。
11:23
那也就意味着是一主一辈的关系,对一个主主服务器,一个备份服务器,对那中间呢,通过了一个诶红色的连线,嗯,这个其实可以给大家简单的说明一下,它叫心跳线,诶这个东西我跟你讲它特别形象,用它我们这个东西也可以叫心跳监控,就是说只要主服务器还活着,他还有心脏跳动,其实就是什么,我给你发个包,你只要还回应我,我就认为你还活着,当我突然发现你身高不跳了,我就认为你挂了,然后呢。那我就会顶替,哎,我半备份服务器,就会甚至煮的这个服务器,那那当然他也会出现一些问题,对吧?比如我之前举了一个例子,我说啊大家以后可能过个几十年能实现长生不老,那怎么实现的呢?可能就是克隆技术对吧?那我会在家里放了100个我,那这100个我什么时候启用呢?不可能101个人我同时上街,那这个是不就疯了对吧?那我会怎么办?我会让第一个克隆人去监测我到底还在不在啊,没事给我打个电话是吧?我说诶我活着呢,别想出来,那结果有一天他给我打电话联系不上我了,那这就类似于我们当前的环境,当主的不在了,以后克隆伊现象,诶我可以出去溜达了,对吧?那那是不是会出现我们高奎幕集群中最最常见的一个故障,叫什么叫脑分裂,那这也比较形象了,可以怎么理解呢?就是他认为我死了,二结果我还活着,结果他没死,就是去洗浴了,然后手机没开机,对,那也。
12:56
可能进行了某项特殊服务是吧,那克隆伦和我都同时出现了,这就会带来一个问题,到底我是我还是他是我访问的人,不知道该访问谁了,对网络,网络访问来了这个流量该怎么办?对,那当然呢,我们可以做一些比如一些设施去防御这种错误的出现,嗯,那第一种,比如除了给我打电话,他可能还去我买了一块心跳检测的表,他可以实时的监控到我,那这个就是我们所谓的冗余,还用多种手段来监控它,对那一一根线,我觉得可能被我扳断了,我来两根线不行,两根不行,我来三根,对吧?这都是我们可以做到的手段,当然这个还不太贴近于我们生产环境,那我们还有一个更高级的手段是什么叫电源交换机,可以怎么理解呢?就是比如我的克隆人出来以后发现,诶,这家伙怎么还活着,那我是不是要乖乖回去了?人间这么美好是吧?我还没溜达够,那我怎么办?我随身带一把刀,我看你还活着,啪一刀过去。
13:57
尝试剑对,你死了吗?死了,哎,只有我了,那服务器也是这样,对吧,说的这么血腥,哎呀哎呀,服务器也是这样,比如大up,也就是我们的备份服务器,嗯,他觉得他应该上来以后,他会主动的掐断我们主服务器电源,他。
14:15
哪怕他活着是不应该也把了捅死,对对,这个就是我跟你讲克隆人他妈的为什么会统治地球,到最后是地球人类毁灭也这的原因我告诉你,所以慎用慎用啊,那这个软件呢,这个做心跳监控呢,除了可以用keep LA可以keep live这个软件之外,其实还有一个常见的叫做heartbe heartbe的这个单词就是心脏跳动的意思啊,这两个呢,非常形象,哎,对这两个呢,其实一般来说用一个就行啊,大家知道哪种呢?我们到时候讲一个我们就可以了,其实呃,功能是一致啊啊,那到时候呢,我会给大家去讲这两种软件的区别,以及你应该在哪种场景下可能选择哪种感觉,对,其实还是那句话都一样,挑一个就行,挑一个熟悉,这是我们所谓的软件,那硬件有没有呢?当然也有对吧,比如我们刚才提到的F5 F5这家厂商,那比如就像呃,沈腾老师提到的,我们的思科设备啊,包括我们的国产一些Rose啊,它都可以做。
15:16
就是贵,除了贵没别的,对,就是贵,那当然实现软件的实现方案呢,也是我们Linux运维的价值体现,哎,看谁怎么来搭对,那如果都是用硬件的话,一句话讲完了,要咱们干嘛对吧,就是为了给企业省钱嘛,不硬件他也得搭对,就只不过就是要成本就低啊对,就要斯科隆城市了,就不要你了,好,那我们再看下一个叫HPCHPC高叫啊高什么呢?高性能运算集群,那在这里呢,可能大家听的也比较多了,这就是我们国家的比较著名的一叫曙光啊超算对吧,其实我们现在这个还全球超算呢,这个前列了,其实是这个太湖之光,曙光可能相对来说稍微老一点了,对对,那曙光这个超算呢,它有什么作用呢?再举个例子,大家都看过阿凡达对吧,都看过,那阿凡达需要大量的一些3D渲染,那我们沈腾老师你能跟我们说下就。
16:16
简单的说一下电影整个制治周期里可能需要的遇到的一些故事嘛,哇,靠,你我可不知道,我也不拍电影啊,但我有了解,因为我原来有个电影梦哦,我要成为,我要成为呃,沈阳那样的男人是吧?你是想你是想炫耀一下是吧?啊,你继续继续,好开始你的表演,刚开始的时候我们可能投资比较重要,没有钱啥都白说对吧?对,那投资完了以后选剧本啊,导演啊,这些我只是想简单的描述一下,那到最后电影拍摄,包括我们知道现在的换头事件都听说过,对吧?演员不演,直接换个头P上去就行了。其实讲的来说,这是不是就是我们相当于电影里比较重要的一个幻制作,对,包括后期制作啊,包括渲染比较重要,那渲染是什么概念呢?就是把我们电影章的每一帧的图拿出来进行我们优化,这是需要大量的量的预算,对,哪怕我们当前单台服务器再再昂贵的,比如一期啊,对吧,那可能都达不到我们。
17:16
这种计算能力,当时当时我们的这呃,去渲染这个阿凡达的时候,我们采用了400多台惠普计算机,那构建了一个我们的超级预算中心去进行渲染,就这样还运算了两个星期,那大家就可以可想而知,如果用单单服务器可能会出现的场景,当然我就说啊,这个不是说我们国家的这种超算,这个什么太湖之光,曙光都是去渲染电影了没有啊,这些东西现在大多数都还是用在这个科学预算,DNA,航空航天,航天啊,用在这上面,我们普通用户可能就很难接触到这样的,包括普通公司都是很难用到这种国家资源,这都是国家战略资源,和核导弹都是属于同一个级别啊,对嗯,有钱都不行,对,有钱都不行,所以我说这种科学高性能运算集群,我们应用途的极少,我们还是前两种集群,负载均衡高可用集群,这是我们主要学习的这种集群的这种技术。
18:16
好,那这样的话,我们就说,那我们这种集群的分类呢,我们就做一个简单的了解,然后呢,那这节课呢,我们就先到这里啊,我们下节课再见,好再见。
我来说两句