00:00
好,接下来呢,我们来看一下卡卡消费者的一个压力测试,那我们先回顾一下卡夫卡消费者的一个工作流程哈,这边呢是卡法集群,这边呢是消费者主,好,那么消费者啊,要跟这个卡法集群进行沟通的时候,有一个客户端对象,那么首先他需要初始化,初始化参数呢,一个其中一个参数呢,就是50兆,每批次拉取的这个数据量呢,最大值呢是50兆,那这边通过S方法发送过去之后,通过success进行一个回调,拉过来的数据会放到一个消息队列里面,那么消息队列里面最大的一批数据量呢,是50兆,这一个一个的放着。那下面来处理消息队列里的数据,每批次处理多少呢?哎,处理的是500条,那好,那我们可以调整这个50兆和对应的500条,来控制对应的消费者的一个消费能力,那是不是这样的呢?那接下来我们就来验证一下哈,那接下来我们来看一下这个脚本,哎,专门用来进行压力测试的啊,那好把它拿过来。
01:05
你可以看一下。这里面给你提供了对应的一些参数啊,首先呢,第一个呢,就是杠杠不up server,诶连接上卡把集群,呃下面还有一个对应的topic对吧?这呢哎,针对哪一个topic进行消费能力的一个测试,还有一个参数是这个。这个叫杠杠consumer config,诶这里面跟生产者那个不太一样,生产者后面你加上这个producer purpose啊,就可以添加上,哎,我们想测的一些参数,但这个呢,不行,你得把它干嘛呢?哎,放到一个配置文件里面。A,然后更改对应的参数进行一个测试啊,这个呢,参数要注意一下,那下面我们来看一下啊,首先呢,我们这里面是杠杠不up serve啊,连接上卡集群,然后杠杠topic,呃,连接上这个某一个主题之后呢,杠杠message,比如说这次啊,我消费多少数据量,一次呢,我们消费100万条啊消费数据。然后下面呢,是一个杠杠consumer consumerig,那我们所有的配置参数呢,给它放到这个文件里面啊,也就consumer purpose啊,放在这进行一个修改,那行,那这个呢,是整个测试的一个呃,脚本哈,那上面呢,我这里有一个初始化,你说把这个配置信息放到这个consumer purpose啊是谁呢?哎,就是一次拉取的条数,默认不是500条吗?哎,那我就强制,哎,虽然说是默认,我让你显示的看到啊,它是500条啊,方便我们后续的一个修改的时候啊,你别产生任何歧义啊。
02:27
那先来做这件事吧。CDF进到这里面VM。看熊猫。好进来,进来之后O插入。粘贴诶500条,其实它默认就是这个啊,不用改也行,但是呢,我怕有些同学啊记不住这个值。那那下面呢,我们就按照这个值进行一个执行。走。记录一下啊。
03:06
一次呢,处理500条的时候,看他的处理能力是多少啊。那很快就拿下了,那它对应的是这个值啊,这个值对应的是它。哎,把这个拿过来。每秒钟呢,是处理81.2兆每秒。好,那我们再来修改什么呢?哎,我修改这个参数啊,给它处理,每批次处理2000条,看一看它的处理能力是什么样的哈。把这只改了。增加四倍。那下面呢,我们再来执行一下对应这个测试脚本啊,不用变啊,只是这里面配置信息改变了嘛,对吧?走。我这边记录。
04:07
啊也测试完了,那现在呢,看的是这个值也是对应的是它啊138。是快了。确实很明显啊,你上一个呢是81兆每秒,那现在呢,我这个呢是138兆每秒啊,也就是说提高这个每批次处理这个条数啊,啊确实有影响,那接下来还有一个参数。我提高啊,每批是抓取的这个数据量的最大值默认不是50兆吗?那这次呢,我给它抓取100兆试试,那改变的参数呢,就是这个啊,直接改成它。哦。好,那改完之后呢,我们退出来再进行一个执行。走。
05:02
是在这个基础上啊,每批次呢处理2000条,然后这个呢大小呢变成100兆,看它处理能力怎么样,呃,处理完了,那这个呢,是对应的是145兆每秒。看到了吗?也就是说你提高每批次处理的条数啊,那这个呢,有提高,同时呢,你再增加上对应的这个每批次抓取的这个最大值的上限,比如说100兆,那么它也有对应的提高,好这个呢,就是整个消费者的一个压力测试啊,那么在生产环境当中,你可以考虑诶提高一下每批次处理的条数,以及呢,哎,每批次拉取的这个最大的这个上限值,那这两个参数呢,哎,可以提高你对应的一个吞吐量啊。
我来说两句