温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
大家好,我是上硅谷的讲师陈佳鹏,江湖人称陈教授,那本次呢,又给大家带来了全新的flink调优课程。通过本课程的学习,让大家学会调优的一个原理、方法,还有它的一个思路。真正让你的flink程序。枪出如龙,快如闪电,达到这么一个效果,那么我们的主要内容呢?包含了基本的资源配置调优,包括了内存、CPU并行度的一个设置,如何来精打细算啊,一步一步的把它抠到最合理的程度。还有咱们flink当中的一个状态,还有几个point,尤其是特别又大又长的状态,咱们怎么来处理,有哪一些调优方式啊,咱们都一一列举,一一调优,还有呢,Checkpoint的一些相关推荐设置,还有它的影响。在接下来就该有一个两个老大难的问题,第一个就是反压,第二一个数据倾斜,那么这些案例咱们都会从它的原理、危害、影响。
01:09
接下来就是怎么定位,怎么解决,要达到一个什么样的效果啊,咱们都做了一个讲解和说明,再之后呢,就是咱们常规的作业优化,首先就是得知道怎么能够知道。性能的瓶颈啊,性能怎么样,怎么来做整个链路的延迟的测量,还有相关的一些痛点,比如说滑动窗口细力度的一些问题啊,怎么来解决,自定义又该怎么做。还有咱们呃,比较喜欢使用的一个circle,有哪些比较好用的功能来解决什么样的问题。在最后呢,咱们也会列举出一些常见的故障啊,挨个给大家分析是什么原因,怎么去调整,怎么解决,怎么避免等等,那咱们所有的这些点都提供了详尽的案例,咱们提供了一个。
02:06
完整的代码首先有一个数据的生成来源。我们这通过我们这个模块,我们生成的数据甚至可以达到每秒钟10万条的这么一个QPS,所以呢,大家可以直接拿过来,直接用这个是模拟咱们生产环境的数据啊,来做一个。测试。那基于此呢?咱们每个调优的案例都写了一个对应的案例。来进行一个演示,大家可以拿过来直接去跑,可以看到它的效果,手把手的去体验啊问题的现象是什么?那我解决之后又能达到一个什么样的效果?那么学习本课程呢?需要大家有一定的flink理论基础,基本了解flink的一个基本原理,基本使用。
03:03
获取全套资料呢?大家可以关注上硅谷教育公众号啊,咱们全部资料都免费开源。
我来说两句