00:00
好,那下边的话我们再来看哈,这个4.5.9啊,这个仍然是项目经验,是卡夫卡的压力测试,比如说做完这个卡卡搭建啊之后呢,你还要对它进行一个压测,这才能证明你真正的干过啊,跟之前我们对海水果进行压测是一样的道理,你不做压测的话,你就不知道这个卡卡的生产能力和消费能力。那么你的领导给你说前一级有一替的数据,他能不能消费掉不知道啊,多长时间能够把卡巴里东西消费没也不知道啊,这是不合理的啊,那来看一下,呃,卡瓦压测,用卡瓦官方自带的脚本对卡瓦进行压测,卡瓦压测时可以查看哪个地方出现了瓶颈。啊,一般的就是网络IO啊,因为就是这个卡卡这个副本数比较多的时候,它会这个造成网络这个比较慢哈,啊比较慢啊,当然了,你这个CPU内存如果这个充足的话啊,这是OK的,你要不充足那它也是问题哈,你内存就两个G,你怎么跑它也够呛。
01:01
行,那来看一下。呃,对卡卡进行一个压测,下面呢,这个是压测的命令,这个压测的脚本在什么地方呢?在这个B目录下有一个卡普卡producer啊,Profile test找一下看有没有啊。这个目录下进到B目录,B目录下的一个呃,Profile test。啊,对吧,生产者的一个压测啊,带他的自带的,所以说人家这个准备的还是很到位的啊,功能很强大,那准备好这个脚本之后呢,然后topic,你要测试哪一个topic,那这个topic呢,其实不用创建啊,不用创建,它自己给你创建了啊,就是test,这topic就行了,你不需要这个手动去创建,然后呢,这个record size啊,这是每个文件的大小啊,是啊,每每条信息的一条大小是100个字节,这是100个字节之后呢是number records也是多少条,这是多少条呢?这是10万条。
02:03
吧啊,这是总共多少条,10万条,这呢是吞吐量,昨天说过啊吞吐量吞吐量这块哈,如果你设置的为这个呃,负一的话。那它不限流。它能测出来当前这个卡夫卡生产者的最大的生产能力。啊,你把它设成负一,它能测出来最大的,否则的话,你这块比如说你固定死了,你说这个动量呢,我就想要这个,呃,100兆每秒。啊,或者是100张,这个这多少条哈,这个每秒钟100条,那就把它限制死了啊,你要想测试出来的极极限值的话,直接设成负一。那来我们来测试一下,后面这个呢,是这个,呃,这是博啊,就是三台卡卡对吧,那三台卡卡。拿过来。看我电脑性能行不行啊,这个我心里也没底啊,因为这个东西它很耗性能,而且我当前呃,不是我电脑不行,是因为我当前这个虚拟机我只给了4G内存啊。
03:00
看看那个4G行不行,我是为了模拟你们上课的这个真实环境啊,如果用我自己引导的话,那我就咔咔咔随便玩了是吧?啊,怎么都够。嗯,已经测试完了啊,很快啊很快,这里面这个值呢,已经拿来了,看这么多。就是这么快。嗯,好快哈。那这个怎么看呢。这是之前的上面的参数。啊,跟那个差差不多,我看一下这个呢,最大的值,这是record second record这个。我这里最大是多少啊,这是。嗯,2.8兆每秒吗?这太差了。嗯,2.8兆每秒。啊,我的吞吐量最大吞吐量才200兆2.8兆每秒啊,啊,这个我之前呢测的是这个九兆每秒啊,应该跟我这个电脑这个,呃,目前这个当前配置有关系啊,因为它只有4G内存啊,它跑不了多快啊,是这个原因哈,嗯,那其他的这个是平均的一个延迟,延迟就比较大一些哈,给他20G可以啊,我有这个条件,关键是你们没有这个条件呢。
04:06
啊,这块呢,干掉啊行,这块呢,就能测出来它最大的一个吞吐量啊。行,那下面呢,还可以测他的一个压这个消费的能力,你说最快他能消费多少。啊,那消费的时候呢,这些都不变啊,考虑增加这个分期数,提高这个消费能力,现在上课讲过哈,这个你增加分区肯定会提高它并发度,这个处理的速度呢,会快一些哈。那来啊,这个里面是用的是consumer profile下面的一个test,然后连接主题包,这个主题包你可以连接三台啊,我这里面连接一台可靠性会差一些啊,这个你可以连三台,可靠性会好一些,然后刚刚这个是test,它自动帮你创建,不用管,嗯,然后呢是抓取,这里面抓取的是1万条啊,1万条是吧?啊,每批次抓取的这个条数1万条,然后呢,Message这是多少呢?这是。啊卖总共消费的消息条数是多少,看啊个十百千万,十万百万。
05:06
千万是吧,1000万呗,啊,相当于是一个1000万的一条数据啊,1000万条数据哈,然后呢,用一个线程。啊,一个线程能测出它的一个消费消费实力是吧,来看一下啊,这个又是什么情况,看看我这个消费能力行不行啊。也不知道能不能扛得住啊。测试一下,看看有没有惊喜。就是开始时间结束时间啊,消费的这个多少兆啊,每多少兆每秒。测试完了,挺快呀,过来。呃,拿过来之后呢,其实跟这个上面这个是类似的哈。这是一样的啊,一样的一个值,那这个呢,你可以描述一下啊,这个呢是开始时间对吧?开始时间这个at time呢是结束时间,这个呢是总共消费了多少兆。啊,中消的另一个呢,这个是吞吐量,我们关心的就是一个吞吐量啊,那你看一下啊,这是开始时间,这是结束时间,这个呢是总共消费的数据啊,共消费多少下一个吞吐量。
06:14
存储量我这个是啊,提升了一点呢,这个呢是2.07兆啊,2.6287兆每秒啊还可以啊,啊还可以啊,共消费了这个多少条啊,这是。10万条啊,这行啊,我这个能力还可以了啊,这个4G内存呃,能两兆以上啊,也算也算OK行,那在这个生产环境下呢,你肯定是要对它进行一个测试的啊,那正常一个集群应该达到百兆每秒啊,至少应该百兆每秒,就是这个消费能力和呃生产能力。比如说几百兆,每秒100兆以上啊。嗯,OK,这是压测。
我来说两句