MaxCompute SQL调优
SQL成本计算=读取IO数据量*SQL复杂度
所以，SQL调优可以从两方面入手：①减少数据量；②降低SQL复杂度
一、减少数据量
1.表分区优化
（1）创建分区表
（2）分区裁剪、避免全表扫描。
（3）分区尽量使用常量、减少分区字段函数使用
（4）分区按层级顺序裁剪
（5）写入静态分区，优化数据存储；减少动态分区，防止小文件过多。
2.列裁剪、条件过滤
（1）避免使用select * ，查询需要的列
（2）使用Limit N
(3)使用条件过滤，pushdown.
3.源表合并
（1）合并不同SQL，一读多计算
（2）子查询合并
二、优化SQL复杂度
1.JOIN连接，MapJoin优化(SELECT /* + MAPJOIN(b) */)
运行原理：
①小表数据全部加载内存；
②读取大表的每个Task加载一份小表数据。
限制条件：
使用场景：
①大表关联小标；
②使用不等值条件，例如or；
③系统内部自动优化为MapJoin；
④普通join连接可能发生数据倾斜（原因：null值、缺省值、大Key值；数据分发不合理等），可以显示指定mapjoin:
增加源表作为大表的并发度：set odps.sql.mapper.split.size = 128;
增加子查询作为大表并发度：set odps.sql.joiner.instances = 1111;
2.Full outer join 全连接优化
（1）使用限制
①只能使用meger join，不能使用map join
②出现数据倾斜，很难通过参数调节解决。
（2）解决方案
①将full outer join 转化为left outer join + union all
②将小表设置为mapjoin
3.JOIN条件过滤
4.类型转换
（1）尽可能保证表达式两边的类型一致（Cast转换）
（2）隐式转换（尽量少使用隐式转换，防止数据倾斜等问题）
5.聚合运算优化
（1）减少使用distinct
会导致数据膨胀，网络传输和处理的数据量暴增；CPU、IO、内存资源消耗增加；也可能导致数据倾斜。