00:00
好,接下来我们来看一下项目经验值基准测试,这里面的基础测试啊,主要是针对hi度的AJS写性能,AJS读性能以及卖六的计算性能一个测试。啊,那对这个highdo进行基准测试有啥用?好同学有这个疑问,因为他们在学这个前面还做基础的时候啊,没有做测试。而且目前运行的还比较稳定。是不是有这个疑问呢?那我们来思考一下这个问题。首先,这是孩子集群。OK,你这是集群,那集群的输入端有一个T的数据。我问你多长时间能够将1T的数据上传到海子集去?对吧,这是现实问遇到的问题。比如说马上双11要来了,我们这数据量猛增,要达到100T的数据,你多长时间能够上传到集群?
01:06
数据量更大,10PB的数据你多长时间能够上传到机器?你在一天24小时之内能不能上传到集群呢?这是我们关心的问题。那就需要你得到对应的上传速度。你要需要设置一下。那好,那如果说数据已经上传到海子普集群,假如说100G,你多长时间能够把它读走?想一想。这是我们关心的,你说你作为一个大数据的架构师,你要非常清楚你目前这套集群的读性能和写性能的一个极限。那还有你100G数据,在这个海子集群上,我要针对这100G数据跑一个work com的程序。
02:05
多久能计算完?这都是我们关心的问题。是吧,哎,好,那我们来看一下,那首先我们需要对这个A的性能进行一个测试。李同该想了,那时我自己写一个测试代码。哎,没必要,还得我大叔框架呢,已经把这些事情呢,给你安排的妥妥当当。在哪呢?这加班OPT modelop。下面有个hi豆op map程序,然后hi doop map客户端job client测试,哎,测试这个价包已经给你写好了。这个进去test d测试。然后杠,比如说测试写性能,那写性能当中怎么测呢?这里面设置参数十个文件,这个可以改的哈,这十个文件。
03:03
我要上传十个文件。那每一个文件大小多大呢?一百八兆。就这行业,那当然说我说我是上传20个行不行啊,也可以,那文件128兆是吧,好,那这里面我们实际测一下啊。还这里面执行。我的电脑性能还算可以啊,还算可以。32G内存,1T的固态。咱们可以看一看谁的电脑这个性能比较好啊,每个人的电脑测试结果是不一样的啊。同样的配置,测试的结果也不一样。你比如说这个华为的笔记本和华硕的笔记本,那车子的性能能一样吗?对吧。
04:00
260已经开始运行了。十个文件,每个文件128兆。啊,7%。一点。OK map阶段结束了,好,测试完毕,测试完毕之后看一下它最后的一个总结信息,我们测试A写性能,几个文件,十个文件总大小128乘以十,那下面我们主要关注这个参数就行了,它的相应的吞吐量。量,这里面是每秒钟11.5兆啊,10.5兆,那下面这个参数什么,它是另一种算法啊,理论上来说它俩是非常接近的一个值啊,不接近的话,说明你的每一个map与map之间这个计算时间偏差比较大啊,那这里面我们就关注一个就行,观它聚它。
05:15
相当于每秒钟上传的速度是11.5兆。OK,那我们把这个截出来。好,放在这对吧,放在这,嗯,行,那接下来我们来测试一下hfs对应的性能。哎,有写就有读吗?那读性能仍然是调用相关的价包,还有多件OBT,刚才夹包上次传的参数呢是right,那本次呢,我们传的是read几个文件,十个文件。写文件的大小,每个文件大小128张。啊,128兆,OK,那来执行吧。
06:04
看一下是毒性能的速度快还是写性能的速度快。大家猜一猜谁的性能快?我的电脑也算是顶配哈,有不服的可以来战是吧?我现在呢,上传性能11.5看看下载。目前呢,是没有对手啊。如果你的性能超过我的话,你可以告诉我一声是吧?那这样我就把我电脑给换了啊,再买一个新的。坏了哈。
07:06
好,结束了,那下面这个呢,是HTFS对应的读性能read,那读性能仍然是读十个文件总大小十乘128,呃,这里面吞吐量是32兆每秒,我这呢写性能是11.5兆每秒哪一块呀?哎,很显然是读的性能比较快。那我这个计算电脑的计算性能呢,相对来说啊,业界领先。对吧,哎,你如果觉得哎,我电脑啊,比海哥这还强啊,赶紧告诉我啊。行,这是这一块,那还有一个测试针对谁呢?针对这个map reduce计算性能。那计算性能这里面他也给你提供了相关价报。哎,直接一调用,那它这里面是每一个节点运行十个map,每个map呢,大约1G的数据,那很遗憾,我目前我这个电脑啊啊,一跑这个任务直接就挂掉了这些宕机,那当然了,你们电脑如果觉得自己行是吧,那你可以自己测试一下,证明一下自己的实力啊,同时呢,如果你成功了,也可以告诉我一声好吧。
08:11
那这里面我就不在这儿亲自去测试了啊,因为测试呢也过不了啊,跑一段时间之后直接就宕机了哈。
我来说两句