开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >spark shuffle读取时间

问spark shuffle读取时间
EN

Stack Overflow用户

提问于 2017-03-25 07:57:02

回答 1查看 1.2K关注 0票数 1

k.imgur.com/r8NIv.png

我很难处理来自Spark UI的这些信息。具有最低火花混洗读取大小/记录的执行器读取混洗块所需的时间最长，如图所示。我不明白这是代码问题还是数据节点问题。

EN

回答 1

Stack Overflow用户

发布于 2017-03-25 10:00:11

也许这不仅仅是由混洗读取大小造成的，还有许多因素影响着混洗时间，比如partitions.You的数量可以尝试修改关于混洗的配置参数。shuffle-behavior

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/43010970

复制

相似问题