00:00
好,接下来呢,我们看一下这个1.4,那今天来看是文件块的大小啊,这是一道非常经典的一道面题。呃,我们来看一看。文件块是文件块的大小。ID中文件在物理上是分块存储的,就存储数据呢,都是按一块一块默认大小有多大了?哎,128兆啊,你说它最大的上限值是一百八啊。那如果是1K的数据呢?存储空间是多大?是1K方,这要注意啊。嗯,负的大小呢,可以通过配置参数这个值啊,DFS block size啊来规定,默认大小呢是128,那我们来看一看啊,这个值啊。这个值我们在配置文件里面能找到。资料下班告诉。这是1D啊打开。还得用。
01:08
好,打开。DFs.block。就是它,它默认大小呢,是这么大。会算吗?134217728。这个是不是很熟悉啊,之前看那个他度我上传那个下包的时候是第一块单。就是128兆啊,这个我就不带大家算了啊,用计算器呢啊,你除以1024啊,再除以零二十四就得到。八。这个值。呃,喷罐是这么大。那么老版本当中啊,说到老版本是指什么呢?是指这个开吧。啊,一点X一点。这个时候呢,它都是60兆,后面呢,我们还会接触到一个32兆,那时候再说那个32兆呢,是本地运行的时候。
02:00
啊,这个呢,相当于是集群,是不是集群呢。啊,继续运行的时候呢,默认是128,然后面呢,带你们去看源码的时候啊,本地运行是32啊先我一下回头还。那好,那下面看一下,这样继续机型中呢,有很多很多的块。那么。容管寻址时间约为。十毫秒。什么叫寻址呢?是不是找到这个数据的地址开始地址啊啊,这个是查找它呢,约为十毫秒啊,这个是一个呃,机器的普遍的这个值啊,那查找到目标的时间就为扫秒。那么巡诊时间为全输时间的1%的时候为最佳状态。他开始寻指的时候是找,找到它之后,你是不是要往这后面存数据啊。哎,这相当于首地址啊手地址。找到他之后,那你要存。那纯。这个目前啊,专家给出的值是什么呢?你寻找到他之后,那你传输的时间为寻址时间的1%。
03:08
那么现在呢?全程时间等于多少?是不是就等于这个行驶时间除以这个1%了。看一下啊这块。行驶时间为传输时间的1%的时候是最佳状态,那么当前的行驶时间是十毫秒。那你电脑回来就出,出完之后呢,相当于是一秒钟,也就是说呢,你找到这个地址之后,要向这里面写一秒钟。这是最佳的。那这个是传输时间。长时间不断的往下写啊。那么传输的这个速率是多少呢?当前普遍的这个硬盘的读写速度是一。百兆里面。一个是传输时间,一个是传输速率。一个是T,一个是VT乘V是不是就等于?
04:00
多大?那么这个块大小。也就说这个最终的块大小就等于一毫秒乘以100兆每秒。得出的结论呢,就是100兆,你这个块是最好的,从这找到它之后,向下写100兆的数据。那同学说,那为什么是128兆呢。这只是一个近视值哈,啊,近视值那128兆呢,是正好是一个啊整除。所以说呢,就选128啊,当前的这个主流的是128兆啊,还有一些公司啊,用的是256。跟什么有关系,就跟你这个机器的。传输速度有关系。如果你换的是机械硬盘。那对不起啊,肯定基本上就是128兆,那如果你这个机器服务器性能非常好啊。固态。啊,那你完全可以把它变成250人六不少啊,甚至更多都可以啊。
05:01
包括这个目前这个256兆啊呃,逐渐在呈现这个上升趋势。啊,大家因为这服务器速度越来越快,所以说呢,他选择的时候呢,也选择这种高性能的。这样的这个效率是最佳的。啊,这个要知道啊,所以说呢,影响这个失败速度哈,最主要的就是。啊,它它影响这个块的大小啊。它越大越快,那么这个块儿呢,就会越大,那它越慢,那你这块呢。越来越小啊。那下面呢,就是针对这个块大小的一道思考题哈。那为什么这个块的大小不能设置的,太小也不能设置的。那看看太小和太大有什么问题?那么如果HD块设置的特别小。那就会增加这个停止的时间啊,为什么呢?比如说你这边有几百万吧。几百万块,然后这边来选址。那你要想从几百万个文件当中找出其中一个,那是很费劲的,一个一个要去过。
06:04
那如果你这几百万个,呃,变成比如说变成20个。很快我就扫描完了,就20个文件嘛,那我刷就扫完了,但是呢,存储空间都一样大。OK哈,那就说太小不行。那另一个呢,是太大。太大也不行啊,为什么,比如说你这个磁盘。本来就8G的。空间。那你。来一个实际的往里。这也冲不下呀。所以说呢,从磁盘传输数据的时间会明显大于定位这个块的这个开始时间啊,假如说我稍微少1.6T。那我瞬间我就找到了,然后你再传一直在,你就感觉这个进程一直在忙啊,因为呢,他一直在。整个这个其他事情什么都干不了啊,所以这块呢要注意。那总结一下基带外侧块大小设置主要取决于磁盘的传输速率。
07:01
啊,这个是最终的结论啊,比如说呢,你在机器选型的时候啊,设置这个块的大小,设成多大啊,人家问你那基本上就是看你这个磁盘的性能啊,比如说都是班长这种机器。共享了啊,我觉得128兆都大啊。名字你改成64道啊。啊,这样啊。就OK了啊啊,但是你你去一个这个比较有钱的公司啊。买的清一色的全是固态。啊,那这时候呢,你就可以考虑用256兆。这个很多哈,目前呃,我遇到过应该有十几家了吧,这种大型公司特别有钱的,尤其是金融这种公司,他们用的都是二百五六兆。但是一些呃,稍微普通一点的同事,那基本一。所以这个呢,就是这个块大小的设置啊,当时呢,面试官呢,就是呃问呃问咱这个学生说你这个块设置多大。他说128,那你的依据是什么?啊,所以这块要注意哈,其实依据的就是你当前这个吃盘的速度啊。
08:01
再含糊一点,就说你这个机器的这个性能怎么样啊,我是机器很好,那我就快一点啊,对吧,那我就块大一点,机器性能很差,那我就小一点。
我来说两句