首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

尚硅谷大数据技术之Spark3.x性能优化

2.尚硅谷大数据学科--核心框架/尚硅谷大数据技术之Spark3.x性能优化/视频
举报

视频列表(38)

1
5分9秒

01-课程简介

2022-12-02 16:02:21
2
4分43秒

02_执行计划_准备测试数据和表

2022-12-02 16:02:21
3
20分32秒

03_执行计划_执行流程&案例实操解读

2022-12-02 16:02:21
4
6分21秒

04-资源规划-资源设定上限估算

2022-12-02 16:02:21
5
8分38秒

05-资源规划-精确内存估算

2022-12-02 16:02:21
6
4分5秒

06-资源规划-精确调整内存各比例

2022-12-02 16:02:21
7
9分8秒

07-缓存调优-RDD-进行cache

2022-12-02 16:02:21
8
4分16秒

08-缓存调优-RDD-cache结合kryo序列化

2022-12-02 16:02:21
9
7分6秒

09-缓存调优-DS-cache和序列化

2022-12-02 16:02:21
10
18分40秒

10-CPU调优-合理利用CPU资源

2022-12-02 16:02:21
11
12分58秒

11-语法优化-RBO-inner join的谓词下推

2022-12-02 16:02:21
12
11分4秒

12-语法优化-RBO-外关联的谓词下推

2022-12-02 16:02:21
13
3分25秒

13-语法优化-RBO-列裁剪&常量替换

2022-12-02 16:02:21
14
26分51秒

14-语法优化-CBO-Statics统计&CBO使用效果

2022-12-02 16:02:21
15
13分16秒

15-语法优化-广播Join

2022-12-02 16:02:21
16
5分57秒

16-语法优化-Join-SMB Join原理

2022-12-02 16:02:21
17
7分50秒

17-语法优化-Join-SMB Join效果演示

2022-12-02 16:02:21
18
9分8秒

18-数据倾斜-现象&原因&抽样定位大key

2022-12-02 16:02:21
19
14分18秒

19-数据倾斜-单表数据倾斜处理

2022-12-02 16:02:21
20
7分12秒

20-数据倾斜-Join-使用广播Join

2022-12-02 16:02:21
21
16分11秒

21-数据倾斜-Join-拆分key 打散大表 扩容小表

2022-12-02 16:02:21
22
1分36秒

22-Map端优化-使用Map端预聚合

2022-12-02 16:02:21
23
19分50秒

23-Map端优化-读取小文件优化

2022-12-02 16:02:21
24
20分22秒

24-Map端优化-调大ShuffleWrite溢写时的输出流缓冲&源码分析

2022-12-02 16:02:21
25
7分30秒

25-Reduce端优化-输出产生小文件优化-调整并行度&缩小分区

2022-12-02 16:02:21
26
10分8秒

26-Reduce端优化-动态分区插入小文件优化

2022-12-02 16:02:21
27
11分28秒

27-Reduce端优化-提高Reduce端缓冲区&重试次数&重试等待间隔

2022-12-02 16:02:21
28
8分41秒

28-Reduce端优化-合理使用bypass

2022-12-02 16:02:21
29
16分45秒

29-Job优化-调节数据本地化等待时间

2022-12-02 16:02:21
30
7分0秒

30-Job优化-堆外内存的版本区别

2022-12-02 16:02:21
31
7分59秒

31-Job优化-使用堆外缓存

2022-12-02 16:02:21
32
7分21秒

32-Job优化-调整连接等待时长

2022-12-02 16:02:21
33
17分22秒

33-Spark3.0-AQE-动态合并分区&动态申请资源

2022-12-02 16:02:21
34
5分3秒

34-Spark3.0-AQE-动态切换Join策略

2022-12-02 16:02:21
35
14分5秒

35-Spark3.0-AQE-自动优化join倾斜

2022-12-02 16:02:21
36
13分39秒

36-Spark3.0-DPP-动态分区裁剪

2022-12-02 16:02:21
37
4分55秒

37-Spark3.0-Hint增强

2022-12-02 16:02:21
38
9分21秒

38-常见故障思路简析

2022-12-02 16:02:21

创建者

腾讯云开发者课程
领券