温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好,HDFS的读写性能,哎,我们已经测试完了,那接下来呢,我们还有一个呢,就是哎,它对应的map reduce计算性能,比如说多长时间我能够计算完一个任务,那这个呢,我们也需要了解它对应的一个性能哈,那下面来看一下。这里面呢,我们可以使用这个random啊,来产生对应的随机处,然后呢,在每一个节点运行十个map任务,那每个map呢,会产生大概一个G左右的随机数。那这个呢,以我们目前这个虚拟机这个性能情况,比如说4G4G4G内存,嗯,是完全运行不起来的啊,即使像我这个64G内存对吧?哎,然后呢,我给它分配的这个高一点,其实也跑不起来,那什么情况下能跑起来呢?哎,正常情况的配置呢,你是十台服务器。每台服务器啊,哎。128G内存,哎,这种配置差不多能够跑起来,那大概会执行多久呢?哎,会执行一分钟左右的一个时间。
01:00
好,那这里面所以说由于我们这个机器性能啊,啊不够,所以说就不给大家演示了哈,那看一下这个里面那个稍微的一个步骤啊。其实执行起来非常简单啊,仍然是还多个架,然后OBD model,然后对应的这个啊一个张丝,哎,对应这个架包,然后呢,Random writer,哎,形成对应的随机数,好,这是第一步形成随机数,那第二步的话就是要对这个随机数呢进行一个排序。那怎么执行的呢?Hi do架哎,仍然是OBD model,然后这个hi啊,Map一个张方四啊,然后对应的上排序命令。然后排序里面是对谁排呢?对这个random date啊,然后排序排成这种有序的数据,哎这样呢就可以了。那最后呢,哎,再执行这个验证数据是否真正的排好序。对吧,And还是还这啊,然后op model刀,然后map reduce client,然后对应的test s test,然后test,呃,这个呃,Map right thought啊进行排序啊,输出啊,经过这么三步啊,第一步呢,是产生对应的实际数,第二步呢是对这个实际数进行排序,第三步呢是验证这个实际数是否真正的排好了。
02:13
那大概这个运行时间呢,是一分钟左右的时间啊,那这块呢,那我们就不做详细的一个测试了,OK吧,哎,知道就可以。
我来说两句