00:00
好,那在这个当中呢,我们看一下咱们flink的一个优化对吧?好,那这里边呢,我们先整体看一下我们要处理哪些内容啊,那这个我先把这两个工具打开一下啊。好,那第一个呢是资源配置。啊,所有的优化呢,你记住第一个优先级最高的,那当然是资源配置了,对吧?嗯,这个应该他能想明白啊,其实你做再多的优化,没有说把我这个资源调上去,来得直接,来得更有效。对吧,我提高资源啊,运营速度绝对是快的,其他的优化无非就是说还是把资源跟这个空间的一个互换,它可能是这个当前资源下跑不了了。对吧,好,那我们呢。把这个内容改一改啊,让他可能跑得慢一点,对吧,比方说出于心斜吧。
01:01
数据细节咱们都知道,那数据呢,就跑到某一个变一度里边了,对吧,或者对于MR来说,Spark来说,它在杀过程当中。引起的数据倾斜就是K过多对吧?呃,导致这个相同的K呢,或者说你的分区数不够,我有类似的这种K都跑到某一个并行度里边做计算,产生了数据倾斜啊,那无所谓啊,假如说我资源足够多对吧,我这单个就算你数据倾斜了,我资源足够多,我把所有的数据全部能放到内存做计算,那也无所谓啊。对吧?啊,所以资源配置调优一定要放在第一位,对吧,如果说能加资源,那我们就加机器去搞定啊,俗称加机器对吧?啊,到时候在我们flink当中,资源配置呢,无非就是说我们的source端中间的transform,还有最后的S端,它的一个病度的一个设置。对吧?啊,类似这样子的,好,那应该说不用设置内存嘛,那一般来说我们变因度啊,一个变因度呢,需要一个slot对不对,而一个slot里边内存的数量往往是由我们这个task manager刚开始的时候在配置文件当中就已经写好了,往往来说啊,当然你可以在呃,控制台命令的时候自己去改,对吧,假如说port job模式,它不是先把task manager起好,而是我们任务来了再去启动task manager,这个时候呢,你也可以临时申请也可以啊,是这个意思,好二块第二章呢,我们讲的是一个反压。
02:34
啊,讲的是一个反压处理。对吧,啊,它什么时候会产生反压啊等等这些情况大家可以想一想啊呃,第三章数据倾斜啊数据倾斜,其实数据倾斜呢,也会引起反压。对吧,数据倾斜了也有可能会引起反压,但是它引起的反压呢,是单个,假如说我一个任务当中有很多个。此任务五个五个变度嘛,病度为五对吧?哎,可能它引起的某一个反压了啊,反压了啊,其他的都是正常的,那这个往往就是数据倾斜导致的问题啊,往往都是数据倾斜导致的问题啊啊那继续我们还有一个卡普卡S的调优,当然这个其实也不属于什么卡普卡S调优,只不过说在卡普卡S这种内容当中啊,呃,还有一些其他的不同的写法,我们到时候去看一下啊,不一定就是对它的一个调优啊,这个这个注意一下,第五章弗Li s里边的调优就是关于这个S东西,其实在S调优的时候就比较简单了,比我们前面data stream要简单一点,因为S的调优啊,无非就是修改参数了。
03:46
对吧,我们调整调整参数,哎,更多的是这样的事情,而不像data STEM,它在调约的时候,我们可能要改变关于data stream它的一个写法啊,这个要注意一下啊,就是我们围绕这几个点来说的啊,那你一定要把这些东西记住,在面试的时候人家可能会问你。
04:06
对吧,啊,人家可能会问你,你。遇到什么问题了?啊,或者说你做过哪些优化。这个其实都是在优化的啊,我先提前说一下啊,就是如果面试官问到了你的优化。或者说你解决过什么问题?不要直接说,诶数据倾斜对吧,我解决了啊,之前出现了反压我解决了,不要这样说,分几步走呢,一。啊,在聊优化的时候,我给大家稍微写一写啊,第一。听听吧,说句话,任何框架的优化啊,光是fli,我只是拿fli来说明对吧?啊,任何框架他都有可能会问你做过哪些优化,或者说解决过什么问题啊,那有的直接问做过什么优化,所以这块做过什么优化,对吧,或者说解决过什么问题。
05:06
还有遇到哪些问题,开发的时候遇到哪些问题,那等等这样的,其实都是在问优化啊,那你不能像表面上人家问的这样答,对吧,做过哪些优化啊,有数据倾斜反压啊,解决过什么问题,解决过数据倾斜问题,解决过这个反压问题,遇到过哪些问题,遇到过数据倾斜,遇到过反压没了。不行,这三类问题其实问的都是优化,问优化的一个题都要怎么答呢?第一步说明业务场景,说明业务场景就是我们之前在做一个什么业务的时候。对吧,或者跑一个什么样的circle,运营什么业务,对吧,这是第一步啊,要说明业务场景,就是你要说一下你这个任务是干嘛的。对吧,好第二步。
06:01
遇到什么问题?第二步才是说,诶,我们在运行这个任务的时候,遇到了什么问题,往往是我们通过什么呢?注意第二步往往呢。往往是通过监控工具,监控工具对吧,结合。报警系统得知的,哎,他有问题了。对吧,啊,那你一定要做这个事情,要告诉人家,哎,那我们通过这个地方发现了他有问题了。对吧,结合这个监控工具报警,诶这个任务在运行过程当中,他报警了,报警呢,诶是反压了对吧,出现了一个反压。
07:06
啊,因为我们对于告警系统当中可以对这个反压做监控,对吧?诶出现了反压了啊,那接下来呢,是排查问题啊,因为你接收到了报警信息了,接下来呢,你就要排查问题了,哎,那反压到底什么原因反压了,是我们数据量真的太大了,高峰期对吧,我之前可能没做压测。啊,所有的变异度同时出现了反压高峰期数据就扛不住啊,那这种呢,只能通过加机器,因为这个时候想起来了,最早的时候呢,我并没有对这个任务呢做压测对吧,疏忽了啊,所以呢,呃,没把握到正确的资源配置好,那如果某一个比度。某一个变形度出现了反压啊,我只是举个例子啊,还有其他很多问题对吧,这里边啊,我们到时候会讲的出现了反压。
08:00
对吧,那如果是这样的话。那我们判断往往是数据倾斜。对吧?数据倾斜问题,那就针对于数据倾斜的情况,我们去做针对性解决,当然我们现在还没聊数据倾斜怎么解决啊,这无所谓,我们只是说一下这个思路,举个例子啊,因为数据倾协大家提的可能最多嘛,对吧,我就拿数据新协来举个例子,因为数据倾协可以引起弗Li的一个反压啊,那如果是MR任务,你通过那个日志是不是能看到有一个任务或者两个任务执行的特别慢,其他任务早都执行完了,对吧?啊,那这个呢,往往就属信贤,就任务卡在99%整理任务,诶一看一两个任务,就极少数任务呢,一直卡着不往前走,但是其他的任务早已完成。对吧,啊,那这个都是数据倾斜的现象啊,那你可以通过这个监控工具啊报警,那在弗当中呢,就是反压啊,用反压这个方式来报警,对吧,排查问题,然后之后呢,解决问题。啊,解决问题啊,最后呢,说一句对吧,哎,通过我们这个地方解决手段啊,主要是聊这个解决手段对吧?啊最后呢,问题被解决。
09:17
诶一定要这样去打一下啊,任何的一个优化或者什么样子的,你要先说明一个场景,自己去找一找场景,最后呢,我也会给大家说一个场景啊,就是网上有很多啊,我不可能说把所有的优化都给你准备好所有的场景,那那今天课都说不完了,对吧,咱们讲讲过的优化还是非常多的,那你每个人自己对吧,你觉得这个优化你去挑一挑,你去挑一挑对吧,你自己去找,找个两三个就行了,因为人家也不会怼着你问,呃。弗,遇到什么问题,诶这个问题除了这个还有呢,还有呢,还有呢,还有呢,对吧,他人家不会一直这样怼着问,所以你稍微准备这么两三个其实就够了,要准备到这种程度啊,就是说明业务场景遇到什么问题之后呢,排查问题,而且遇到问题,遇到问题这块注意往往都是通过这个监控工具或者得到的,你不能好好的说这个任务。
10:12
发现问题了,当然如果没有监控,你第二天假如离线任务对吧,第二天任务挂掉了,或者说实时任务啊,任务挂掉了,这也是一种发现手段对吧,也可以啊也可以对吧,但是最好监控工具,因为任务挂掉了之后,特别是实时的对吧,离线还好一点,实时的你要是没做监控,那任务挂掉了,你也没有他的日志了,什么东西。不太好了,对吧,你要用雅安模式还好一点,因为我们有这个,呃,日志服务器嘛,对吧,有这个19888可以记录下来,如果没有的话,那比较麻烦,你是值的任务挂了挂了没了对吧?比方说像4SPAUG任务,4040端口在你任务启动的时候是能看得到,但是任务挂掉了,那个4040端口就访问不了了,看不了对吧?啊,所以你要结合延安它还好一点啊,任务呢,你也可以通过这挂掉之后查看日志排查问题也可以啊,这个是没有问题的,所以说。
11:03
优化往往这样去答啊,这要注意一下,我多说几句啊,这块是我们所说的一个点,就是因为整个我们聊的是优化对吧,我们整个这这一个文档聊的是优化,所以你要知道关于这块的内容应该怎么去答啊,这是第一个啊,我们做的一个课程介绍。
我来说两句