用户8349874

文章/答案/技术大牛

发布

LV0

有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾...

王知无-import_bigdata 2019-08-172019-08-17 23:11:23

Spark3.0已经发布半年之久，这次大版本的升级主要是集中在性能优化和文档丰富上，其中46%的优化都集中在Spark SQL上，SQL优化里最引人注意的非Ad...

TASKCTL 任务调度平台 2021-01-222021-01-22 14:21:42

TOC 0. 十秒看完 1.业务处理中存在复杂的多表关联和计算逻辑（原始数据达百亿数量级） 2.优化后，spark计算性能提升了约12倍(6h-->30min)...

腾讯｜工程师 (已认证)

2020-04-272020-04-27 11:48:43

原理：在进行shuffle的时候，须将各个节点上相同的key拉取到某个节点上的一个task来进行处理，比如按照key进行聚合或join等操作。此时如果某个key...

艾利 2022-08-312022-08-31 09:59:12

个人简介

TA 很懒，什么都没有留下╮（╯＿╰）╭