00:00
好,接下来呢,我们来看一下集群规模。那什么叫集群规模呢?啊,其实是这样一个场景啊,如果你来到一家从零到一的公司,那他项目经理会问说,我们到底要购买多少台服务器呢?对吧,那这时候你说买三台,买五台还是买十台。那你就要思考了,那到底要买几台呢?什么因素会影响你购买服务器的台数呢?对吧,哎,那下面我们来看一下哈。那首先第一个如何来确认集训规模,那首先你要。假设一个场景,什么场景,你说你购买的服务器啊,是什么样的配置。这个很关键,比如说我买一个128G内存的,我和买16G内存的,那对应的台数它能一样吗?肯定不一样对吧?哎,所以说这块呢,我们假设的是每台服务器的配置是8T的硬盘,12128G的内存,OK吧?哎,假设这么一个场景哈。好,那再往下,那还是我们还要假设一个场景,我们每天的日活在100万左右,那什么叫日活呀?哎,就是每天访问你网站的人数。
01:09
这个OK吧,哎,每天来登录你网站的这个注册的一个用户啊,有多少,那么假设呢,100万。那100万是多还是少呢?对于一个中型公司来说啊,绝对是够用啊,通常情况下呢,一般是10万到200万之间。都有。啊,这种日活那当然像大公司没法比哈,人家大公司上来就是呃,几亿的一个日活对吧,当然咱不是那种级别的公司啊,所以说就是一般在100万左右啊或者上下。啊,那每人每天平均产生的日志有多少条呢?就咱们所说的那个买点人志在前端页面上说记录这个用户行为的啊,点赞评论收藏对吧啊这些。那这个正常情况下是不是100条呢?记住啊,他不是标准的100条啊,你刚来到这家公司,那他前期啊买点的数据呢,肯定要少,因为统计的指标少嘛,我不会考虑那么周全,那可能埋个十几条对吧,每人每天平均产生十几条日志都有可能。
02:04
那随着这个公司的发展啊,你会增加到平均每人每天会产生五五十条日志,然后100条啊,甚至200条,那咱们这个100条呢,是属于一个合理的范围内啊,取得大概在中间水平的位置。啊,这个要知道啊。行,那接下来算下来就是100万日活,有100万个人访问了,那平均每人会产生100条日志,那乘以完之后正好是亿条。也就是说一天你总共这个网网站收到的这个呃,买点的信息大概在1亿条左右。那好。那么我们每条日志大概是多大呢?哎,我们每条日志啊,大概是1K左右。那这个也是有说法的,并不是说每条日志都一定是1K,它也是从一般情况下在0.5K到2K之间,我们取得1K啊,只是大部分公司。啊,一个合理范围。
03:00
这OK吧,哎,是取的这个中间值啊啊1K左右,好,那么每条日志1K,每天是1亿条,那你算下来之后大概是100G左右。比如说每天呢,我们要产生100G左右的数据量啊,当然你要根据你们公司实际情况,如果他有你直接产在他这个后台服务器上,直接拿到对应的大小也可以对吧?哎,那这里面我们是通过这个初步的估算啊,大概在100级左右。那好,那100G的话,那每天是100G,我这里面有一个叫半年内不扩容服务器。那我就要乘一个180天。什么意思,就是说我在半年内啊,我不会考虑去增加对应的福气。我就这些服务器了。哎,那它在大概占用的这个磁盘空间就是18T。对吧,你得需要准备18T的一个存储空间来存储我这半年的数据,那接下来再往下走。那咱们这个孩子过集群啊,是不是都有三个副本啊。对吧,那你要乘以三个副本的话,那你说我要有54T的一个存储空间。
04:04
那再来,那咱们硬盘说我要存储50T的数据,我就买一个54T的硬盘吗?不会肯定要留一定的预量,对吧?啊余量,那我们这里面留有20%~30%的预量,通常是企业的一个通常做法。那一般呢,就是77T左右。那算到这儿,你是一共需半年内不扩容,需要77T,那么每台服务器呢是8T。那这里多少?哎,乘以十台服器,那就是80T的。一个存储空间对吧,就能满足对应的这个要求吧,哎,就够用了,那好,那是不是我们通过这个运算,我们就要购买十台服务器呢。其实不是这样的啊,不,这为啥呢?其实你还忽略了一些细节,其实啊,我们这个数仓是分成的,你还记得我们开始讲这个数仓的时候,说分odsdwddws ADS,一共分了五成,对吧?啊,一共分了五成。
05:00
那你分了五层,那你刚进来的时候,假如说按你这个逻辑的话,进来是多少77T,那走到这呢,走到这儿呢。你是不是还有一个备份呢。那这个是不是需要更多的服务器呢?也不是啊,再注意分成是还需要你额外准准备更大的升值空间,但是我们还有一个叫压缩。啊,压缩压缩呀,它会把你这个啊大量的数据压缩的非常小,比如说你给你一个100G的这个数据,我压缩完呢,可能变成四到5G了,那数据量瞬间就减少。所以说呢,这里面还有一些其他的一些运算啊,等我们整个项目都说完之后啊,再给大家介绍啊,所以说这里面需要一个重新的一个计算,大概呢,整体的思路是这样,这是没有任何问题的啊,总体思路你就按这个去算啊,是没问题,大概去估出来啊,是需要多台服务器,那通常情况下,对于我们中小型公司,比如说100G左右的这个数据量每天。那我们需要多少台服务器呢?如果你在半年内不扩容的话啊,一般就是这个三到五台服务器就够了。
06:07
啊,三到五台服务器足够,如果说你准备这个一到两年不扩容,哎,那你可以提高到十台左右,比如说你一般一个中型公司十台左右的服务器,妥妥的能够满足你正常的一个需求。所到这里面,嗯,咱们先思考到这儿,因为整个项目我们这才是刚刚开始啊,先有一个呃思想准备。
我来说两句