问spark执行得非常慢。
EN

Stack Overflow用户

提问于 2017-04-13 11:41:05

回答 1查看 616关注 0票数 0

问题解决了。在table_b中有巨大的相同密钥

我有这样的sql：

SELECT *
FROM table_a a
LEFT OUTER JOIN tbale_b b ON a.key=b.key
LEFT OUTER JOIN table_c c on a.key2=c.key2

查询由纱线上的火花执行。

与往常一样，table_b中只有一条记录在table_a中有相同的键，查询可以非常快和正确地执行。

但是，如果在table_b中重复了一些记录，查询将执行得非常慢，其中一个精简任务的执行速度会很高。

回答已采纳

发布于 2017-04-19 09:04:19

最后，我发现table_b中有许多相同的密钥

连接结果非常巨大。

相同的键将只在一个任务中执行。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/43391349

复制

相似问题

问spark执行得非常慢。EN