00:00
好,接下来呢,我们对这个卡卡啊进行一个压力测试。好,那大家思考一下,为什么要进行压力测试呢?这是我们卡法集群。那在生产环境下,假如说每天我产生十个T的数据,那我多久能将这个数据上传到康马集群?那我每天是100T的数据,有多久能上传到集群呢?好,那假如说卡卡集群当中有十个T的数据,我多久能够消费的完?这都是我们架构师需要关心的问题。那好,卡巴卡呢,它官方自带的这个测试脚本,一个呢,是测试卡卡的最大消费能力。另一个呢,是测试卡卡生产能力,哎,都给你写好了,调用就可以。让大家再思考说卡夫卡压测时啊,在硬盘读写速度一定的情况下,我们需要查看哪些地方限制了卡夫卡的一个吞吐量。什么意思,因为卡夫卡这个硬盘。
01:01
它的读写速度是一定的,比如说你固态硬盘,它的读写速度在三四百兆。每秒,那么机械硬盘呢,也就100兆每秒左右。这已经是他的这个极限了,你再快也快不了这个。对吧,那这个速度一样的情况下,假如说我这个硬盘是100兆每秒,那么。我能不能真实的就达到100兆每秒这样的一个读写速度呢?还有没有其他因素会影响我对应的这个读写速度?那我们一般的考察点就是CPU会不会影响,内存会不会影响,以及网络IO会不会影响。哎,其实呢,通常情况下都是这个网络IO限制你这个读写速度,就跟我们那个hi度和压测是不是道理是一样的啊,也是最终是网络影响了我们的性能。那首先我们来看一下,哎,卡夫卡生产者的一个压力测试,那这个测试怎么测呢?看一下这张图。哎,我们这样去做哈,这次呢,我们单独再来一台服务器。通过这台服务器向102 103 104整个这个卡卡机群来发送数据,这样呢,测试效果会更好一些,否则的话,你在这个102 103任何一台节点上发生数据,那其实有本地数据传输的一个嫌疑。
02:14
好吧,哎,那这里面我通过第三方往集群里面发数据。那我怎么发呢,能把所有的节点的这个读写性能给测试到呢。那我就去思考,我一共有三台机器,那如果我设置三个分区的话,那是不是每一台服务器上都得往这里面发送数据,比如说都可能发送到每个节点的数据。OK,所以说这里面呢,我一会儿会创建一个topic,它呢是具备三个分区。那我们还要考虑一个因素,那这里面每一个数据啊,它默认是一个副本。那如果说我把这副本设置为二的话,就是每一个节点都有一个副本。那它会不会影响你整个集群的一个吞吐量呢?因为这里面涉及到了一个跨节点之间的一个通讯呢,对它往这考,对吧,它往这考。
03:04
那它会不会影响我们也要关心,所以说这里面我设置这个topic啊,具有两个副本啊,一会儿来看。那接下来我们要准备的环境啊,准备的环境要准备哪些呢?首先呢,我们将我们的服务器的102 103104啊,这是104。它的网络带宽设置为多少啊,100兆BPS,之前讲这个AGPS压测的时候,您收了100兆BPS,是不是相当于12.5兆每秒啊,哎,十兆左右OK。那同时呢,我要关闭这个102主机,然后并克隆这个102主机,诶克隆出105,比如说我这个105啊,是从102来的,这样呢就省去了我们安装卡法的过程。OK吧,嗯,好,然后呢,修改IP和主机名称,这个一定要注意。然后呢,在105上这个带宽呢,我不设限。因为我是发送方。哎,我不能因为我这个哎发送方的网速而限制了你整个集群的一个测试,对吧,哎,我这边呢,放开了发,哎但是呢,你们102103104,它对应的这个都是十兆每秒左右,十兆每秒左右,十兆每秒。
04:10
对吧,哎,这边呢,我无限的放好。那再来,然后呢,接下来就会创建一个test topic,那就有三个分区,两个副本。行,那我们先准备一下环境啊,首先这个带宽在我们之前讲嗨度的时候,是不是已经设置完了,那这块呢,我可以看一下啊,你看一下。右键设置。啊,打开网络适配器高级是吧,都是100兆BPS吧,也是十兆每秒左右,OK,那其他的我就不看了啊。啊,那接下来。关闭102主机,哎,并根据102呢克隆出105。那我来操作一下。好,接下来呢,我们就来真正的关一下这个集群啊,首先查看一下集群对应的进程。那先关谁呢?一定要注意啊,先关卡不卡,再关JK,因为如果你先关了JK啊,你就关不掉对应的卡不卡了,哈比说K f.SH然后到。
05:05
这个卡不卡关闭啊,它需要点时间,你可以查看一下。你看你刚执行完这个关闭命令啊,这个卡卡并没有真正的关掉,稍微等一下。再来执行。第一台已经关掉了,那你看第二台,第三台是不还没有真正关闭掉啊,别着急,再等个几秒钟之后呢,再来查看一下。哎,现在呢,就是卡普卡都已经正常的关闭掉了,然后我们再来关这个JK。然后我们再来关闭谁呀,哎,关闭海底集群。
06:02
行,那现在这机型啊,我们就关闭了哈,你说进程关闭掉,然后呢,把它关闭。基于这个102啊,再进行一个克隆,好右键管理克隆。下一步。下一步创建下一步。这个呢,改成105。OK。我们是放在D盘三头S。然后是放在鸡群。新建。105 OK。班长。好,克隆完毕啊,关闭。然后呢,我们添加一下啊嗯。
07:04
打开。我们用root账号登录啊。打开终端。放大啊,修改一下IP地址和对应的主机名称。V metc。Network-script啊,If啊,ES33,然后呢,将它修改为105。OK,修改一下主机名称ETC post name OK。105啊,然后呢,重启一下。
08:01
这个时候啊,我们就可以把这个102啊也给它开启。好,开机了,102呢,再等一下。把这个105打开啊。好,点击新建。HIOOP105。身份证。At硅谷。六个零。确定。双击。接受被卯竹吧,嗯。啊,这个105呢,我让他特意的是这个黑窗口啊,方便大家去识别啊,然后102呢,我也给它打开。OK,现在呢,这个准备工作就做差不多了,那这个102啊,我给他启动起来。
09:09
哎,这样呢,主K包和卡卡就已经启动成功了,然后105啊,我们还得稍微处理一下啊,105里面对应的这个网络限制要给它设置一下。网络适配器高级,那这块呢,要给他来一个不受限啊。不受限。确定确定。那现在呢,我们来检查一下环境,10210314啊,网络呢是100兆每秒啊,搞定了,呃,关闭102主机,克隆105,有了105的带宽,不设线,OK,然后创建一个test topic,设置三个分区,两个副本,那这个呢,呃,就是创建topic的命令,其实咱们之前已经讲过很多遍了,对吧?那这块呢,是两个副本,三个分区,那我直接拿过来创建一下。跟他吧。啊。
10:02
来到102。死的已经存在。那我们创建一个TEST1。TEST2OK吧,那现在呢,我们就已经创建成功了啊,那创建成功之后呢,那我后续啊,在执行测试的时候这块呢,记住就给它改成TEST2就OK了啊。
我来说两句