00:00
好,大家好,欢迎大家继续收看上硅谷的Linux云计算课程,我是沈超老师,我是王阳老师,那这节课开始呢,我们开始来学习Linux的集群了,那么各位Linux的集群或者说集群是运维工程师的核心的这个价值的体现,那原先啊,我们之前学的什么这个命令啊。常规服务啊,那些东西啊,有可能编程工程师自个儿琢磨琢磨,有可能也能干,哎,小公司就是这样,他不一定是运为,但是呢,如果我们的访问量增加,单台服务器可能负担不了这么多的访问量,那这个时候我们需要搭建集群,那这个时候这个其他的编程工程师他就肯定干不了了,这就是运维工程师的核心价值,当然他相对来说他的这个也相对比较难,然后呢,做实验的要求也比较高,哎,我们之前一台虚拟机就可以完成实验,那现在呢,有可能需要十台八台,那你在家里有可能就完成不了,呃,那如果是在线下的话,我们会给大家提供服务器,那线上呢,你们就想办法,可能要要准备一个性能更好的这个这个电脑啊,啊,那既然讲到性能更好的电脑呢,就给大家一个简单的标准吧,那可能你需要CPU呢,在I5左右啊,至少比I5要强,I5那内存呢,可能在八个G,那当然更好多。
01:23
很好,对吧,最好是16个G,因为八个G也就能跑335个吧,啊如果你开的内存小点,可能还能多点,对,那当然我们说的这都是最低标准,那这个也是最基础的硬件标准,我们更重要的还有我们的网络标准啊,也就意味着我的虚拟机如何设置,以及我的网络如何调试,那我可能会耗耗费呢一章的内容去给大家讲解我的呃,相关的环境,一节课的时间,对希望大家跟我一样一字不差的给他记住,并且配置下来,你们在学的时候应该就跟汪洋老师这个跟老师这样一样,他怎么配你就怎么配,为啥这东西可能要不然你可能后期有些实验它就出不来,或者有些问题,当然这个东西啊,就跟我们前面说的啊,我们运维工程师前面你命令,甚至我们的服务都是死记硬背的服务啊,其实有一些可以自己更改修改的东西,但是整个配置文件基本上还是死的。
02:21
但是到了集群这里呢,我们说前期我们是靠死记硬背,后期可能我们就需要理解了,指的就是从集群开始,这个东西同样的功能一一千个人搭,他有可能搭出来它就不细节都不会完全一样,那肯定会有好有坏,那这个时候就是体现你的功力和你的这个理解的时候了,对吧?对,尤其是是我们公司的生态环境呢,可能还跟咱们的对吧?呃,时间环境环境不太一样,肯定还是需要自己去相关的调整,哎,当然也不要这么害怕,对吧,你只要把咱们的理论性的东西吸收完毕以后,诶,那我相信大家都可以去根据自己的环境去创造出来各自的集群,但是在课上么,你学的什么,你还是要和老师的这个环境一模一样,要不然你很多东西你就出不来啊,对大家注意啊,那我们就看看我们这节课吧,我们到底要学什么,我们看看好,那这节课呢,我们会分为三个片段,嗯,那第一个片段呢,何为集群,什么是集群对非常重要,嗯,我。
03:22
我们别讲集群,讲完了你都不知道啥是集群,那这个有点过分了,对吧,对对对啊,那第二个片段呢,集群分类,哎集群呢,可能也不是都是一样啊,它有不同的分工,不同的种类,我们可能这个要知道一下它怎么分,然后我们说一下我哪些是我们常见的集群,其实有个别集群我们在工作中最少对我们来讲,对绝大多数公司来讲都是用不到太重要,哎,好,那第三个呢,我们会对我们刚才所学到的所要的东西呢,进行一个总结,诶这也是非常至至关重要的,我们会把非常重要的一些点都会在这里去重新说明,好,非常重要,那我先看看什么是集群。
04:03
啊,王洋老师找了一张跟他长得差不多的图片啊,这个不,你想说什么?超哥你是捧杀我吗?这张学友不敢当啊,张学友,那我们小学张学友来梳女版权我跟你讲啊,那我们可以看到这张图片呢?呃,某个著名公众人物对吧?在这里搬块三关砖头在搬砖,对感觉乐乐乐呵呵的啊,乐呵呵还乐呵呵,差点讲错了,尴尬啊,那乐呵呵的,那当然了,这种方式呢,就类似于我们之前所学到的一些网络服务对吧?单台服务器在这复台服务单节点运行,哎,那单节点呢,非常重要,我说的重要不是它好,而是有一些小缺点,那可能需要超哥给大家解释一下,单节点嘛,单个人访问啊,那这个东西肯定是啊,你这个比如说访问量如果增加了,你有可能负担不了啊,对吧,对我让你,我让你比如说搬这个五车。
05:03
砖,你一个人一小时能搬五块砖,好拉你数万五块,50个砖可能5万块,你搬吧,累死你可能也不一定搬得完,对吧?对,而且呢,可能就是比如我吧,嗯,我去搬砖,嗯,那一周呢,五个工作日,嗯,那可能我周一周三周五呢,我都请假,为什呢,发烧感冒流鼻涕,对吧?整个公司的业务线是不是就会中毒,这个工作态度有整个工地的工期是不是都会延长,对吧?单这点错误啊,指的就是什么?单台的服务器,不是不一定是单台啊,就是一组服务器当中,或者这个某一台服务器出了问题,导致整个集群全部崩溃,如果你要只有一台服务器,那肯定这台服务器挂了,你这个服务就崩溃了,这个东西是我们要尽力避免的单界件错误,这种一定是要尽力避免的东西啊,各位对,那这也就是我们所谓的单砖搬砖玩啊,时间耗费长,个人能力有限,我搬不了这么多,给我钱再多都没用,对吧。
06:03
也就是说你一台服务器啊,不论如何啊,不论你的软件工程师如何优化,你再牛逼的软件工程师,他写出来的这个这个服务或者是网站,它也不能突破这台服务器硬件的性能,我硬件性能我就这么多,你再优化它也只能是一个,比如说呃,量变就是增长点,但是不可能产生质变,对吧,只能靠近极限,不能超越极限,对这个非常重要,对吧,好好,当然是它还是有优点的吧,那优点可能有啊,那比如雇我一个人我去搬砖,那我可能只需要每天五块钱,对,那如果雇我和超哥同时去搬砖,那可能就需要105块钱,我靠,因为这超哥的工作量大呀,啊,这个东西就是单台服务器啊,他肯定啊,它的相对来说这个维护的难度低,然后呢,成本肯定更低了,买一台服务器嘛,其实我说服务器成本现在其实呃不是太贵,因为啥清。
07:03
看来还挺贵的,这一般我们买的新的这个这个EU的标准服务器,一般就是这个一万五左右就性能还是不错的,那但是这玩意儿买完之后啊,他的这个生命周期是很长的,一般用个八年十年都没事儿,都不会有太大问题,所以呢,这个硬件成本其实还行,关键是什么人员成本,你可能如果这个公司规模小,你可能不一定需要专业运维,这个时候呢,你可能就是比如说编程工程师就顺带手就干了,就这个事儿啊,至于维护不好,那还无所谓,你还能维护不坏嘛,对不对,有人维护就行对吧?对啊,这就是它的优点,相对来说成本低啊啊,那还有没有更好的搬砖方法,当然有啊,我们看看协作化搬砖吧,那这也是大家比较常在工地看到的一张图,我把它摘录到这里了,那在这个片段中呢,我们可以看到,嗯,有的搬砖搬砖啊,有的推小车啊啊,有的叉个腰上。旁边看看只。
08:03
配置非常重要,这个也是不可或缺的啊,那大家共同组成了整个搬砖场景,没错吧,那它的缺点呢,是成本高啊,但是我说各位这个事儿啊,我刚刚就说了,其实服务器的成本啊,不一定太高,再严重啊,你的这个服务器要需要更多了,证明什么呀,证明我们公司有钱了,证量了,你的访问量更大对吧,那有访问量了就证明什么了,你可能盈利了,对吧,这个时候你要给老板说,我说我再买点服务器,我多的这个招揽这个人手,老板肯定高兴的屁颠屁颠的对吧?那当然,所以这个不一定是这个缺陷啊,好,那优点呢,就是我们刚才所谓的单台服务器的缺点,你以这样理解了,对,那业务无中端,诶你一个人请么?这个请假发烧对吧吧,对,不影响,我还有超哥呢,对,还有其他的候补人家来搬对吧,嗯,啊,那第二个呢,就是总体效率高,诶这个事儿。
09:03
就是说超哥一直给学员说,我们集群可能会出现一个情况,叫一加一大于二,你一买两台服务器,它的性能可能会超过你两台性能的总和,诶有些学员曾经嘲笑过我说超哥你是不是这个数学是不是不好到这个地步,不是各位集群这个东西啊,当然我说两台服务器可能组装不了集群,我们就考虑最简单的集群可能也需要三台服务器啊对,但是我们就说它加起来之后,它的架构的性能会在里面发挥它的性能,所以呢,它会导致什么,你的整体性能会超出你的两台服务器的极限,这个是,这就是我们集群的这个什么,这叫特点,哎,这叫它的这种功能或者价值体现,对吧?啊,那综赁效率更高以后呢,你你可以理解为我可以用,呃,原来五块钱能干到的事情,我现在需要。十块钱去干这些事情的时候,但是他翻了不止一倍啊,我能得到11块钱重要11块钱的这个效率,买到11块钱的产品,有这个可能非常重要,对吧,那下一个呢,实行我们的大型业务,其实我们说各位,我们互联网已经发展到现在20多年了,这种,呃,其实虽然每年年创业公司都很多,但是死亡的也很多,这个九成以上的公司其实都死掉了,换句话说,其实能生存下来的公司,不论是这个互联网行业了,还是其他相关行业,只要用到互联网业务的,其实相对来说访问量都还是比较比较高的,哎,现在这种就是单台服务器负担访问的这种公司已经越来越少了,而且呢,呃,怎么说呢,就是大量的这种运维需求量就会越来越多,再有一个就是云计算的生成,云计算我们这几年的火爆,也使得我们的这个这叫什么运计工程师的需求量对吧,越来越高,哎,那划重点需求量越来越高,对。
10:58
啊,这对大家都是非常有利的,对这都是,如果对专业运维来讲也都是非常有利的,当然啊,呃,如果你们是编程工程师,你如果看到我们这个集群课,那就证明其实你不单纯想干编程了,你有可能想转架构师或者更高的项目经理这样的一些岗位,这个时候集群或者说这种这种呃,存储网络,存储监控啊,然后呢,各种的负载均衡啊,包可用啊,包括预算都是什么,你们必须这种要掌握的东西啊对,嗯,好,那当然我们刚才看的都是一些网络上的一些段子图啊,或者段子啊,那可能不太贴近于我们整个的实际环境,对吧,那我们看一下相对符合我们实际环境的这么几张图给大家看一下,首先第一张这蹲到马桶上,这个看手机就比较符合实际环境,对对,那当然了,好,大家每天早上可能都有这种体验,对吧,蹲在马桶上抱个手机刷个抖音啊,这可能都是大家的日常了,嗯。
11:58
那假设现在可能这里只有九个人对吧?那假设现在有1万个人同时在蹲坑,对,那同时访问到了抖音对的一台服务器上,对,当然我这里是假设一台,他肯定不止对,抖音肯定不是对,那我们假设一台服务器,那可能就会出现这么一种结果啊,看这里浓烟滚滚,这就是结果,那单台服务器到底能够支撑多大的访问量呢?超哥给大家给一个参考啊,超哥当年是做游戏的,所以我们对游戏的访问量还是非常熟悉的,那单台服务器我再说啊,服务器是从一两千块钱的二手服务器到几百万上千万的顶级刀片服务器都有,如果不说性能,单说服务器,一台服务器这是耍流氓,那我们就说服务器指的就是这个,你只要不上当受骗,一万五左右买的这种普通的EU服务器,那这个性能其实在我们现在看,其实都已经是还是不错的,能达标的,那这种服务器呢,如果是支持。
12:58
访问页访问他的同时并发访问可以达到10万左右啊,这个这个10万的点击量,不是说访问人数,就是你一个人登进来,有可能没事儿就巴拉巴拉点好几下,其实每一下剪击都可以看成是一个单独的人啊,其实就还是有人在访问你那啊不是说瞬间啊,是这个每小时的访问量,因为瞬间太难统计了,太难统计了就速度都是比较快,哎,对他我们统计的都是小时访问量能够达到10万左右的,同时这个就是同一一个小时支持这么多人,这个这么多PV的访问量。
13:32
但是如果是在线游戏,在线的这种视频,包括在线下载,他的这个访问压力就要比普通的网页要大得多,那这个时候在线游戏的话,如果我们这个选择的是在线的页游,小心啊,我说的不是是魔兽世界,魔兽世界的访问量反而更大,就是能够支撑的访问量更大,原因有些人觉得反而那个什么这个就叫那个那个棋牌游戏那个什的压力,弹当弹弹堂对,反而服务器的压力极大,有些学员想不明白啊,说为啥啊,魔兽世界更炫呀,人妈的,你都棋牌的那个我操这个多多烂,原因啊,原因很简单,这个这种端游就是像魔兽世界这种需要下载客户端的,你的这个素材场景,大量的3D动画都是在你电脑上运行的,你只需要跟对方服务器传递一下什么,我打了多少经验值,掉了多少钱,也就是我们的个人速去豹。其实。
14:32
就跟你访问网页的压力差不多,所以端游的压力可能跟网页比,网页稍微大点,但是呢没有那么大,但是夜游就是你玩的那种看起来很low的那种,下个棋打个牌子之类的,包括什么这个什么,反正就是这种游戏,他反而所有的素材都是在服务器上运行的,这个时候服务器压力反而更大,那我们就说它跟这个在线视频的这种访问压力就类似了,那么单台服务器小时访问量一般就在两三千左右,这台服务器就已经压力极高极高了,这都是这个经过实际测试了,当然我们这只是给大家做一个参考啊各位。
15:10
那刚才呢,呃,对啊,那如果对啊,如果说你们这种啊,访问量如果达比这个高,对吧,那就会出现这么这个浓烟滚滚啊,冒尖了,服务器的人就会挂掉的事情,对吧?这个不太合理啊,那刚当然了,刚才沈腾老师可能说了几个比较关键的一些字眼,我们去简单的说明一下,比如第一个PV,那有些学生听到这里可能会稍微有些愣了,是吧?石墨是PV,那我们再去讲一些并发量的时候,可能会涉及到两个参数指标,一个叫ipp,就是一个术,对一个叫PV,就是点击量,那这个还是有很大区别,那一般来说我们统计的比较倾向于是PV个式IPIP呢,就是说每一个IP你就可以理解为是一个人,当然啊,他如果用的这种,就是说这种局域网,他有可能一个IP是多个人,但有如网吧啊对,但是这个事儿就是啥意思呢?IP你就可以理解为是一个人,但是一个人登上了之后呢,他有可能点击。
16:11
是无数次对吧,那点击的次数才是我们应该去统计的,而不是几个人,哎,这个非常重要,点击他也还是要耗资源的,所以我们一般统计的都是P流量啊量,那这个呢,可能就是我们单台服务器比较贴近于我们的生态环境中的这么一张图对吧?好,那我们去看另一张优化过。那我们实际房问的可能就是这样的高大上的集群啊,对吧,当然我们说咱们的机房可能不一定都像这层机房看起来这么宽敞明亮,然后高大上整洁是吧,可能只有百度啊,阿里啊能够达到这种规模或者是整洁程度啊,其实他还是就是这个机房只给他自己用,如果没有外来的这个服务器介入的话,比如说我不对外租,这个一般来说这些公司都能做到,对,但是咱们一般租的就是就是咱自己建不起,咱得租连人了,这个事儿就是谁都有可能进去,那里面可能就是,呃,有可能就跟咱们图上看的那种网线到处乱飞那种觉得有那可能,那当然还是有一定差距的,对吧,我觉得网上图是不是稍微有点有点夸张,到处老鼠乱逛,那这肯定是没有的,对吧,就是恒温还是能够保证到了无尘,不一定做的特别好,但是恒温恒湿还是没问题的,机房那咱们看到的七群啊,也可能看到的就是这样。
17:33
好像是一堆的服务器就放在这儿了,其实它不是简单的用一根线一穿,把它放在这儿,大家防着就行了,它还是要有什么不同的分工合作,对吧?对,那协作是非常重要的,包括我们美国公司不可能只有员工没有领导,哎,对,那就就像刚刚那张图一样,还是得有人在旁边插的时候在那看,对,当然我们看着擦的时候看,可能背后已经有很多的深意,对吧?啊,那我们呢,这节课呢,我们就要大概了解一下其实是什么,然后呢,我们也了解一下集群的优点,对吧?那这节课呢,我们就到这儿了,嗯嗯,我们下节课再见,再。
我来说两句