01-课程简介

大家好，我是上硅谷的讲师陈江鹏，江湖人称陈教授，本次呢给大家带来的全新的Spark优化课程，通过本次课程的学习，能够让大家知道如何让Spark策马奔腾，跑得又快又稳。那首先呢，咱们介绍了如何查看底层的执行计划，从咱们写的一个Spark circle如何进行一步步的解析优化。甚至执行我们详细的原理都做了一个讲解，还有实际的案例带领大家去分析，那第二一块的资源调优，主要是让大家如何用最少的资源，让程序跑的又快又好啊，经做一个精打细算，把资源用到极致。那么第三一块呢，咱们关注了一个Spark circle这一块重点的一些优化规则，咱们都做了深入的解析。也是让大家了解到如何来用好这么一些规则，还有一些常用的使用方法。

紧接着呢，是一个最大头的一个数据倾斜，咱们会根据它的现象还有一步一步的解决。还有不同场景我们如何来搞定它，都是有实际落地的案例，还有操作过程，还有一个解决的效果。呢整的还有小文件结合。数据倾斜，那又该怎么解决？咱们通通都有实际的案例演示。除此之外呢，咱们还有一块就是3.0新功能的一些介绍跟演示，比如说它的自适应功能，包括动态合并分区，动态切换策略，动态优化倾斜，还有它的动态分区裁剪，还有hi增强等等新特性。

那最后呢，咱们也会对一些常规的问题给出一个解决思路啊，给大家提供一个解决的思路和方案。那本次课程的亮点呢？几点，第一个呢就是真，咱们完全是真实案例，真实效果，还有呢，手把手教大家如何来调优，对比前后的调优一个效果，另外一个就是细，那咱们会结合源码来理解一些调优参数的意思，那甚至呢，有一些网上的技术文章，其实理解上和说法上是有一定出入和偏差的，那咱们呢，就会通过源码来对给做一个介绍，就比如说呢。随便点一个啊，我们会贴出源码的理解，带领大家去看看里面的一个核心逻辑到底应该是啥样的啊。

全，咱们会提供全套的资料，那么包括。基本上每一个调优点对应有一个代码啊，一个案例来跑。那么帮助大家快速上手的来体验这个调优的过程，咱们代码都会提供。还有一个呢，就是金。咱们的内容包含了3.0的一些新特性，像A的功能里面包含了呀，动态分区合并，动态申请资源，还有呢，动态调整九引策略，动态解决交引池数据倾斜这些好用的一些特性。

甚至呢，包括咱们刚才提到的一个DP啊，动态分区裁剪，还有hit增强等等等等啊，全部都有介绍跟实际的演示，那么如果大家想获取本次课程的资料啊，那么大家可以去关注微信公众号上硅谷教育，也可以上咱们的B站上面直接搜上硅谷。咱们所有的资料都是免费开源的，那么学习本课程呢，需要大家有一定的前置基础。首先。得有一定的Linux操作经验，也就熟悉常用的命令和使用，了解哈杜，主要呢就是会使用HDFS和盐。还有一个have。还有Spark的基础知识。理解是B的基本原理。

那么希望大家能够从本课程中收获到你想要的东西。