温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好,接下来我们来看一下啊,呃,Hi doop map reduce,计算性能的一个压测啊,压力测试相当于啊,你搭建完hideop集群之后。对吧,之前咱们是做过一个HDFS的一个读写性能压测呀,那同样道理,我们也仍然需要对map的计算性能进行一个压测,了解一下当前这个集群它的一个计算能力。哎,是什么样的。那怎么测呢?记住哈,首先你要保证你当前这个集群的HTS配置,MA6 ma6配置,雅安相关的配置都已经配置好了之后,你再来执行这个MAP6加测。能懂吗?哎,如果说你的ADS配完了,但是我MAS延还没配,然后我就执行了这个ma压测,那没有意义,一定是你这个集群已经所有参数运行稳定之后,然后我们进行压测按来评估你的计算性能。好吧,哎,是这个含义哈,行呃,那进行压测首先要有个注意事项。
01:00
这里面呢,如果你的单台虚拟机,哎,是的硬盘吧,啊,小于150G,那你就不要执行了,你包括我现在的电脑,其实我也执行不了啊。呃,那后面呢,会给大家一个一个参数啊,一个参考啊,比如说呢,我们有十台服器。128G内存的。啊,标准的服务器,然后呢,硬盘呢,这个是这个8T的这种啊8T磁盘,那你再执行这个程序,大概在一分钟左右的时间,能把这个下面这个案例的任务执行完毕。那么下面这什么案例呢?来看一下。哎,我们这里测试的是像集群啊的一个,呃,进行排序的一个任务。啊,排序先写一堆数,写完一堆数之后呢,啊,我开启十个map,每个map里面处理的数据呢,大约是一个G的数据分析数。然后把这些实习处呢,进行一个统一排序。诶看他能不能排,排好效果,正常情况下,刚才说了十台服务器的话,需要啊一分钟左右的时间能排完。
02:00
啊,但是现在我的电脑啊,呃,如果说你的电脑这个比较差,那你就不要执行这个命令啊,一执行的话直接卡死。可能执行这个半天都不一定能执行完。这个要清楚一下啊,那这个压测有什么用啊。啊,当然有用了,因为我们可以通过这个数据进行评估出来你当前集群的一个计算性能。那以后我就知道了啊,过来这么多数据之后,我多长时间能够把这个数据计算完,知道心中有数。那这里面有一些参数啊,什么这个十个map,然后每个MAP1G内存,那这个值能不能修改呢?对不起,很遗憾,它不像AGPS,那个AGPS啊是可以配置说读几个文件写几个文件,但是每个文件大小多少都能设置,它这个设置不了。嗯,这个呢,比较low一些哈,现在这里面就不给大家演示了,给大家说明一下这个呃,场景啊,搭建完集群之后啊,来做它就可以了哈。
我来说两句