温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好,那接下来呢,我们看一下整个的这个优化的一个文档,对吧,那这里边呢,我们先看一下我们从这几个方面做的一个介绍,第一个就是资源配置啊,你要知道在优化方面呢,资源配置优化就是你你给更多的资源这个优化方案啊。是最好的。对吧,你想那么多说这么调那么调,嗯,没有把说加机器对吧,这一条路是最好走的。这个能明白吧,对吧,诶直接加机器是最好走的啊,所以第一个呢,我们就放了叫资源配置优化,那对于link程序而言,它的一个资源呢,无非就两个,一个是内存对吧,还有一个呢,是我们的。并行度对吧,并行度这两个啊,我们要去调一下,第二张呢是反压。啊,那我们里边呢,比较容易出现的问题,就是这个反压。对吧,到时候我们可以看一下,诶,那反压它的现象是什么,对吧,那最后呢,我们可以看到,诶那我们应该怎么处理,因为它有很多种不同的情况,可能会引起这个反压,你比如说资源不够了,有没有可能会反压,大家想。
01:08
就是资源不够了,有没有可能会反压呀?资源不够。对吧,他当然会可能会产生反应,对吧?啊或者说呢,你看啊,假如说我们任务过程当中,我有关联为表的操作,我有与第三方数据库交互的这个操作,那他是不是也有可能会产生反应。对吧,我跟第三方交互了,他是有可能也会产生反压呀,对吧,这个很好理解。啊,因为你跟第三方交互了,那你效率低嘛,当然我们看到了那一条数据都要好久对吧?啊,所以他就开始反应,还有就是如果说数据倾斜呢。数据倾斜了,它是不是有可能有一个变度会产生反压,那一个冰度,哎,那其他的变度斜的要死,有一个变动呢,哎,忙的要死,它产生反压了,有可能吧,对吧?好,那是数据倾斜的问题解决呢,我们放在第三章专门去讨论对吧?我们第三章专门去讨论数据倾斜问题啊,这样我们到时候再聊,然后第四章呢,是卡夫卡S的一个调优啊,当然了,卡卡S也不能说是调优吧,只是说在介绍一些大家之前没有学习过的一些API而已。
02:19
OK吧,好,那第五章呢,弗Li s克的一个调用,因为在我们当前这个项目里边呢,其实关于弗Li s克咱们用的还是蛮多的,对吧?啊,所以弗Li s克未来呢也会占主导地位,而现在呢,在。呃。公司当中用的时候,他们有很多公司都会有自己的这个flink circle这平台,也就是说他你直接在这个平台上去写这个circle,它会自动转化为流的任务去执行,那这种东西呢,会越来越多,未来呢,开发就会越来越简单一点,对吧?啊,因为你写S就行了呀,就像我们分S对吧,你写这个流处理代码写的很多对吧?而我们分了个S就会少很多,是这个意思对吧?好,这是我们整体的一个介绍,大家呢,需要了解一下我们要学习的东西有哪些,对吧?好。
我来说两句